Контекст терезесі деген не?
Контекст терезесі - AI моделі бір уақытта жұмыс жадында ұстай алатын ең көп мәтін мөлшері - әңгімедегі әрбір хабарлама, файл және құрал анықтамасы оған кіреді.
Модельге жібергеннің бәрі бір шектеулі кеңістік үшін бәсекелеседі: жүйелік промпт, ағындағы әрбір хабарлама, жүктелген файлдар, құрал анықтамалары және модель жазғалы отырған жауап. Бұл кеңістік - контекст терезесі, сөздермен емес, токендермен өлшенеді. Әңгіме оны толтырғанда, бірдеңе кетуі керек, және ол әдетте ең ескі мазмұн болады.
Сондықтан ассистент бесінші жауап кезегінде бірінші хабарламаңды дәл келтіре алады, ал екі жүзінші кезекте не айтқаныңды мүлде білмейді. Мәтін интерфейс оны сақтағандықтан әлі экраныңда тұр, бірақ ол енді модельге берілмейді. Контекст терезелері өнім мен жоспарға қарай қатты өзгереді, ал компания жарнамалайтын сан модельдің сыйымдылығы, бірақ тұтынушылық чат қосымшасы әр кезекте нақты сонша жүктейді дегенді білдірмейді.
бұл folk-та қалай жұмыс істейді
Folk ұзақ ағымдарды автоматты түрде компактайды, бірақ пайдалырақ айырмашылық - оның жады ағыммен шектелмейді. Өткен айда айтқаның келесі жолы хабарласқанда, қай бетті пайдалансаң да, әлі де қолжетімді.
жиі қойылатын сұрақтар
Контекст терезесінің шегіне жеткенде не болады?
Не ассистент әңгімені жалғастырудан бас тартады, не ең ескі хабарламаларды үнсіз тастап, олар мүлде болмағандай жауап бере береді. Үнсіз нұсқасы жиірек кездеседі және байқау әлдеқайда қиын.
Үлкенірек контекст терезесі жақсырақ жауаптарды білдіре ме?
Автоматты түрде емес. Контекст өскен сайын зейін жұқарады, сондықтан сапа қатаң лимитке жетпей тұрып-ақ төмендеуі мүмкін. Бұл әсер context rot деп аталады. Сондықтан нақты бір тақырыпқа шоғырланған әңгімелер бір алып әңгімеден әдетте жақсырақ.
Жазылым үшін төлеу контекст терезесін ұлғайта ма?
Кейде, бірақ адамдар күткеннен аз. Ақылы жоспарлар әдетте хабарлама жылдамдығының шектеулерін көтереді, әңгімелесуге арналған шектен емес, сондықтан жаңарту ұзақ әңгіменің толып кетуін тоқтатпайды.