Што такое кантэкстнае акно?
Кантэкстнае акно гэта максімальная колькасць тэксту, якую AI-мадэль можа ўтрымліваць у працоўнай памяці адначасова: кожнае паведамленне, файл і апісанне інструмента ў размове ўлічваюцца ў яго.
Усё, што ты адпраўляеш мадэлі, спаборнічае за адну і тую ж абмежаваную прастору: сістэмны промпт, кожнае паведамленне ў ланцужку, загружаныя файлы, апісанні інструментаў і адказ, які мадэль вось-вось напіша. Гэтая прастора і ёсць кантэкстнае акно, якое вымяраецца ў токенах, а не ў словах. Калі размова запаўняе яго, нешта мусіць сысці, і гэта амаль заўсёды самы стары змест.
Вось чаму асістэнт можа дакладна працытаваць тваё першае паведамленне на пятым кроку і зусім не ведаць, што ты сказаў на двухсотым. Тэкст усё яшчэ на тваім экране, бо інтэрфейс яго захоўвае, але ён ужо не падаецца мадэлі. Кантэкстныя вокны моцна адрозніваюцца ў залежнасці ад прадукту і плана, і лік, які рэкламуе кампанія, гэта ёмістасць мадэлі, а не абавязкова тое, што спажывецкая праграма для чату насамрэч загружае на кожным кроку.
як гэта працуе ў folk
Folk аўтаматычна сціскае доўгія трэды, але карыснейшая розніца ў тым, што яго памяць не абмежаваная трэдам. Тое, што ты сказаў яму ў мінулым месяцы, даступна наступным разам, калі ты напішаш, на любой платформе, якой карыстаешся.
частыя пытанні
Што адбываецца, калі ты дасягаеш ліміту акна кантэксту?
Або асістэнт адмаўляецца працягваць ланцужок, або ён моўчкі скідае самыя старыя паведамленні і працягвае адказваць, нібы іх ніколі не было. Моўчкі больш распаўсюджаны варыянт, і яго значна цяжэй заўважыць.
Ці азначае большае акно кантэксту лепшыя адказы?
Не аўтаматычна. Увага размываецца, калі кантэкст расце, таму якасць часта зніжаецца задоўга да жорсткага ліміту. Гэты эфект называецца гніеннем кантэксту, і менавіта таму сфакусаваныя размовы звычайна лепш за адну велізарную.
Ці павялічвае платная падпіска кантэкстнае акно?
Часам, але не так часта, як людзі чакаюць. Платныя планы звычайна падымаюць ліміты хуткасці паведамленняў, а не столь на адну размову, таму апгрэйд часта не ратуе доўгую перапіску ад перапаўнення.