Что такое контекстное окно?
Контекстное окно это максимальный объём текста, который модель ИИ может удерживать в рабочей памяти за раз. Каждое сообщение, файл и описание инструмента в разговоре учитываются в нём.
Всё, что ты отправляешь модели, конкурирует за одно и то же ограниченное пространство: системный промпт, каждое сообщение в ветке, загруженные файлы, описания инструментов и ответ, который модель вот-вот напишет. Это пространство называется контекстным окном, и оно измеряется в токенах, а не в словах. Когда разговор заполняет его, что-то должно уйти, и почти всегда это самый старый контент.
Вот почему ассистент может идеально процитировать твоё первое сообщение на пятом ходу и понятия не иметь, что ты сказал, на двухсотом. Текст всё ещё на твоём экране, потому что интерфейс его хранит, но он больше не подаётся модели. Контекстные окна сильно различаются в зависимости от продукта и тарифа, и число, которое рекламирует компания, это ёмкость модели, а не обязательно то, что потребительское чат-приложение реально загружает на каждом ходу.
как это работает в folk
Folk автоматически сжимает длинные треды, но более полезное отличие в том, что его память не привязана к треду. То, что ты сказал ему в прошлом месяце, всё ещё доступно, когда ты напишешь в следующий раз, на любой платформе, которой пользуешься.
частые вопросы
Что происходит, когда ты доходишь до лимита контекстного окна?
Либо ассистент отказывается продолжать ветку, либо он молча удаляет самые старые сообщения и продолжает отвечать, как будто их никогда не было. Молчаливый вариант встречается чаще, и его гораздо труднее заметить.
Большее контекстное окно значит лучшие ответы?
Не автоматически. Внимание размывается по мере роста контекста, так что качество часто падает задолго до жёсткого лимита. Этот эффект называют гниением контекста, и поэтому сфокусированные ветки обычно лучше одной огромной.
Платная подписка увеличивает контекстное окно?
Иногда, но реже, чем люди ожидают. Платные планы обычно повышают лимиты на количество сообщений, а не потолок на одну беседу, так что апгрейд часто не мешает длинному треду заполниться.