Ի՞նչ է կոնտեքստի փտումը։
Կոնտեքստի փտումը AI-ի պատասխանների որակի անկումն է, երբ զրույցը երկարանում է, ինչը պայմանավորված է նրանով, որ մոդելի ուշադրությունը տարածվում է ավելի շատ տոկենների վրա, մինչև վաղ հրահանգները կորցնում են ազդեցությունը։
Context rot-ը նույնը չէ, ինչ տեղը սպառվելը։ Այն սկսվում է շատ ավելի վաղ, քան կոշտ սահմանը, որովհետև մոդելը վերջին token-ներին ավելի մեծ կշիռ է տալիս, քան հեռավորներին։ Հրահանգները, որոնք դու դնում ես քո առաջին հաղորդագրության մեջ, տեխնիկապես դեռ context-ում են, բայց նշանակվում են ցածր կարևորություն, այնպես որ մոդելը կարդում է դրանք և արդյունավետորեն անտեսում։
Ախտանիշները ճանաչելի են. վաղ սահմանած ձևաչափի կանոնը հանգիստ դադարում է պահպանվել, քո դրած սահմանափակումը խախտվում է, կամ օգնականը նորից է հարցնում մի բան, որին արդեն պատասխանել ես։ Anthropic-ը նկարագրում է այս էֆեկտն իր ուղեցույցում Claude Code-ի երկար սեսիաների մասին՝ նշելով, որ արդյունավետությունը նվազում է, երբ կոնտեքստը աճում է, որովհետև ուշադրությունը բաշխվում է ավելի շատ թոքենների վրա, և հին բովանդակությունը սկսում է շեղել ընթացիկ առաջադրանքից։
Գործնական հակաքայլերը վերախարսխման բոլոր ձևերն են։ Կրկնիր հիմնական հրահանգները յուրաքանչյուր տասը փոխանակումից հետո, տեղադրիր կարևոր սահմանափակումները հաղորդագրության վերջում, որտեղ դրանք ավելի մեծ կշիռ ունեն, և բաժանիր իսկապես անկապ առաջադրանքները առանձին զրույցների, այլ ոչ թե կուտակիր դրանք մեկ թեմայի մեջ։
ինչպես է սա աշխատում folk-ում
Կոմպակցիան օգնում է և՛ փտման, և՛ տարողունակության հարցում, որովհետև հնացած հերթերի ամփոփումը հեռացնում է աղմուկը, որը նոսրացնում էր ուշադրությունը։ Folk-ը պաշտպանում է ամենանոր հերթերը և սկզբնական ձևակերպումը, ապա սեղմում է մեջտեղում եղածը։
հաճախ տրվող հարցեր
Արդյո՞ք կոնտեքստի փտումը նույնն է, ինչ կոնտեքստի սահմանաչափին հասնելը։
Ոչ։ Սահմանին հասնելը կոշտ սահման է, որտեղ բովանդակությունը դուրս է թափվում։ Context rot-ը որակի աստիճանական անկում է, որը սկսվում է սահմանից շատ առաջ, առաջանում է նրանից, որ ուշադրությունը բարակում է ավելի մեծ զրույցի վրա։
Ինչպե՞ս շտկեմ AI-ն, որը դադարել է հետևել իմ հրահանգներին։
Նորից խարսխիր։ Տեղադրիր 3-5 տողանոց ամփոփում հիմնական որոշումների և սահմանափակումների մասին քո հաջորդ հաղորդագրության սկզբում, և կրկնիր ցանկացած ձևաչափի կանոն, որը սահմանել էիր ավելի վաղ։ Եթե թեման իսկապես փոխվել է, փոխարենը սկսիր նոր զրույց։
Ինչքա՞ն երկար է չափից շատ մեկ AI զրույցի համար:
Չկա հաստատուն թիվ, բայց որակը սովորաբար սկսում է ընկնել քսանից երեսուն էական փոխանակումներից հետո: Ավելի լավ կանոնը թեմատիկ է. երբ անցնում ես իսկապես նոր առաջադրանքի, սկսիր նոր թեմա: