Що таке контекстне вікно?
Контекстне вікно це максимальний обсяг тексту, який модель ШІ може тримати в робочій пам'яті одразу: кожне повідомлення, файл і опис інструмента в розмові враховується в ньому.
Усе, що ти надсилаєш моделі, змагається за один і той самий обмежений простір: системний промпт, кожне повідомлення в чаті, завантажені файли, описи інструментів і відповідь, яку модель ось-ось напише. Цей простір і є контекстним вікном, яке міряють у токенах, а не в словах. Коли розмова його заповнює, щось має піти, і це майже завжди найстаріший вміст.
Саме тому асистент може ідеально цитувати твоє перше повідомлення на п'ятому ході і не мати уявлення, що ти казав на двохсотому. Текст досі на екрані, бо інтерфейс його зберігає, але його більше не подають моделі. Контекстні вікна дуже різняться залежно від продукту і тарифу, а число, яке рекламує компанія, це місткість моделі, а не обов'язково те, що споживчий чат-застосунок справді завантажує на кожному ході.
як це працює в folk
Folk стискає довгі розмови автоматично, але корисніша різниця в тому, що його пам'ять не прив'язана до однієї розмови. Те, що ти казав йому минулого місяця, доступне й наступного разу, коли ти напишеш, на будь-якій платформі, якою ти користуєшся.
часті питання
Що буде, коли досягнеш ліміту контекстного вікна?
Або асистент відмовляється продовжувати розмову, або тихо скидає найстаріші повідомлення і далі відповідає так, ніби їх ніколи не було. Тихий варіант трапляється частіше і його набагато важче помітити.
Чи більше контекстне вікно означає кращі відповіді?
Не автоматично. Чим більший контекст, тим тонше розподіляється увага, тож якість часто падає задовго до жорсткого ліміту. Цей ефект називають context rot (гниттям контексту), і саме тому сфокусовані розмови зазвичай кращі за одну величезну.
Чи збільшує платна підписка контекстне вікно?
Іноді, але менше, ніж люди очікують. Платні тарифи зазвичай піднімають ліміти на кількість повідомлень, а не стелю для однієї розмови, тож оновлення часто не рятує довгу розмову від заповнення.