Çfarë është kalbja e kontekstit?
Prishja e kontekstit është rënia e cilësisë së përgjigjes së AI ndërsa biseda zgjatet, e shkaktuar nga vëmendja e modelit që shpërndahet në më shumë tokenë derisa udhëzimet e mëparshme humbin ndikimin.
Prishja e kontekstit nuk është e njëjta gjë si mbarimi i hapësirës. Ajo fillon shumë përpara kufirit të fortë, sepse një model i jep më shumë peshë tokenëve të fundit sesa atyre të largët. Udhëzimet që vendos në mesazhin e parë teknisht janë ende në kontekst, por u caktohet një rëndësi e ulët, kështu që modeli i lexon dhe në fakt i injoron ato.
Simptomat njihen: një rregull formati që e vendose në fillim papritur nuk ndiqet më, një kufizim që e vure shkelet, ose asistenti të pyet përsëri për diçka që e ke përgjigjur tashmë. Anthropic e përshkruan këtë efekt në udhëzimet e veta për sesionet e gjata të Claude Code, duke vënë në dukje se performanca bie kur rritet konteksti, sepse vëmendja shpërndahet në më shumë tokenë dhe përmbajtja e vjetër fillon të largojë vëmendjen nga detyra aktuale.
Kundërmasat praktike janë të gjitha mënyra për ta rikthyer bisedën në binarë. Përsërit udhëzimet kryesore çdo dhjetë shkëmbime ose më shumë, vendos kufizimet kritike afër fundit të mesazhit ku kanë më shumë peshë dhe ndaji detyrat vërtet të palidhura në biseda të veçanta, në vend që t'i grumbullosh në një thread.
si funksionon kjo në folk
Kompaktësimi ndihmon si me kalbjen ashtu edhe me kapacitetin, sepse përmbledhja e kthesave të vjetra heq zhurmën që hollonte vëmendjen. Folk mbron kthesat më të reja dhe kornizën origjinale, pastaj kompreson atë që është në mes.
pyetjet e shpeshta
A është prishja e kontekstit e njëjta gjë si të arrish kufirin e kontekstit?
Jo. Të prekësh limitin është një kufi i fortë ku përmbajtja hidhet. Context rot është një rënie graduale e cilësisë që fillon shumë përpara limitit, e shkaktuar nga hollimi i vëmendjes përgjatë një bisede më të gjatë.
Si ta rregulloj një AI që ka pushuar së ndjekuri udhëzimet e mia?
Rivendos pikën e ankorimit. Ngjit një përmbledhje tre deri pesë rreshtash të vendimeve dhe kufizimeve kryesore në krye të mesazhit tënd të radhës dhe përsërit çdo rregull formati që ke vendosur më parë. Nëse tema ka ndryshuar vërtet, nis një bisedë të re.
Sa e gjatë është tepër e gjatë për një bisedë me AI?
Nuk ka një numër fiks, por cilësia zakonisht fillon të bjerë diku pas njëzet deri tridhjetë shkëmbimeve të konsiderueshme. Një rregull më i mirë është sipas temës: kur kalon në një detyrë vërtet të re, hap një bisedë të re.