Що таке ліміт токенів?
Ліміт токенів це стеля для кількості токенів (шматків тексту, приблизно три чверті слова кожен), які модель ШІ може обробити в одному запиті, враховуючи і історію розмови, і її власну відповідь.
Моделі читають не слова, а токени. Токен це приблизно три чверті англійського слова, тож тисяча слів коштує десь близько тринадцяти сотень токенів. Розділові знаки, код і текст не англійською токенізуються менш ефективно, тому сторінка коду з'їдає набагато більше бюджету, ніж сторінка звичайного тексту.
Ліміт стосується всього запиту, а не твого останнього повідомлення. Саме цю деталь майже всі розуміють неправильно. Навіть три слова у відповідь дописуються до всієї попередньої розмови перед відправкою, тож крихітне повідомлення може стати тим, що переповнить довгу розмову. Описи інструментів і підключені інтеграції рахуються з того самого бюджету, тому вимкнення невикористаних інструментів може повернути справжній запас місця.
як це працює в folk
Folk стежить за власним бюджетом токенів і стискає розмову, поки не закінчилося місце, тож тобі не треба його рахувати. Нема лічильника, за яким треба наглядати, і нема моменту, коли розмова відмовляється тривати.
часті питання
Скільки слів у токені?
Приблизно три чверті слова англійською, тож 1000 токенів це близько 750 слів. Код, розділові знаки та інші мови токенізуються менш ефективно і з'їдають більше бюджету на символ.
Чому пише «максимальна довжина», хоча моє повідомлення було коротким?
Бо ліміт рахує всю розмову, а не твоє останнє повідомлення. Кожен попередній обмін надсилається знову з кожним ходом, тож коротке повідомлення може стати тим, що штовхає загальну суму понад стелю.
Чи враховуються завантажені файли в ліміті токенів?
Так. Файли, зображення, описи інструментів і системні інструкції споживають той самий бюджет, що й твої повідомлення, тому розмова з кількома вкладеннями заповнюється набагато швидше, ніж чисто текстова.