Что такое лимит токенов?
Лимит токенов это ограничение на то, сколько токенов (кусочков текста примерно в три четверти слова каждый) модель ИИ может обработать за один запрос, включая историю разговора и свой ответ.
Модели читают не слова, а токены. Токен это примерно три четверти английского слова, так что тысяча слов стоит около тысячи трёхсот токенов. Пунктуация, код и текст не на английском токенизируются менее эффективно, поэтому страница кода съедает гораздо больше бюджета, чем страница прозы.
Лимит действует на весь запрос, а не на твоё последнее сообщение. Именно эту деталь почти все упускают. Ответ из трёх слов всё равно приклеивается ко всей предыдущей переписке перед отправкой, так что крошечное сообщение может стать тем, из-за чего длинный тред перевалит за край. Определения инструментов и подключённые интеграции списываются из того же бюджета, поэтому отключение неиспользуемых инструментов может вернуть реальное место.
как это работает в folk
Folk следит за своим бюджетом токенов и сжимает контекст до того, как он закончится, так что тебе не нужно это отслеживать. Нет счётчика, за которым надо присматривать, и нет момента, когда разговор отказывается продолжаться.
частые вопросы
Сколько слов в одном токене?
Примерно три четверти слова в английском, так что 1,000 токенов это около 750 слов. Код, пунктуация и другие языки токенизируются менее эффективно и расходуют больше бюджета на символ.
Почему пишет максимальная длина, когда моё сообщение было коротким?
Потому что лимит считает весь разговор, а не только твоё последнее сообщение. Каждый предыдущий обмен снова отправляется с каждым ходом, так что короткое сообщение может стать тем, из-за которого общий объём перевалит за предел.
Загруженные файлы входят в лимит токенов?
Да. Файлы, изображения, описания инструментов и системные инструкции расходуют тот же бюджет, что и твои сообщения, поэтому ветка с несколькими вложениями заполняется намного быстрее, чем обычная текстовая.