Kaj je kontekstna gniloba?
Kontekstna gniloba je upad kakovosti odgovorov AI, ko pogovor postaja daljši. Nastane, ker se pozornost modela razširi na več tokenov, dokler zgodnejša navodila ne izgubijo vpliva.
Kontekstna gniloba ni isto kot to, da zmanjka prostora. Pojavi se precej pred trdo mejo, ker model daje nedavnim tokenom večjo težo kot oddaljenim. Navodila, ki jih nastaviš v prvem sporočilu, so tehnično še vedno v kontekstu, ampak dobijo nizko pomembnost, zato jih model prebere in jih v bistvu ignorira.
Simptomi so prepoznavni: pravilo oblikovanja, ki si ga nastavil na začetku, se tiho neha upoštevati, omejitev, ki si jo postavil, je prekršena, ali pa te asistent ponovno vpraša nekaj, kar si že odgovoril. Anthropic ta učinek opisuje v svojih smernicah za dolge seje Claude Code in ugotavlja, da zmogljivost pada z rastjo konteksta, ker je pozornost razpršena čez več žetonov in starejša vsebina začne odvračati pozornost od trenutne naloge.
Praktični protiukrepi so vse oblike ponovnega sidranja. Ponovi osnovna navodila vsakih deset ali tako izmenjav, postavi kritične omejitve blizu konca sporočila, kjer imajo večjo težo, in resnično nepovezane naloge razdeli v ločene pogovore, namesto da jih zlagaš v eno nit.
kako to deluje v folku
Kompakcija pomaga tako pri gnilobi kot pri zmogljivosti, ker povzemanje zastarelih izmenjav odstrani šum, ki je redčil pozornost. Folk zaščiti najnovejše izmenjave in prvotni okvir, nato stisne tisto vmes.
pogosta vprašanja
Je kontekstna gniloba isto kot doseganje omejitve konteksta?
Ne. Doseganje omejitve je trda meja, kjer se vsebina zavrže. Kontekstna gniloba je postopno slabšanje kakovosti, ki se začne veliko prej kot omejitev, ker se pozornost razredči čez večji pogovor.
Kako popravim AI, ki je nehal upoštevati moja navodila?
Ponovno zasidraj. Na vrh naslednjega sporočila prilepi povzetek ključnih odločitev in omejitev v treh do petih vrsticah ter ponovi pravilo oblikovanja, ki si ga nastavil prej. Če se je tema resnično spremenila, raje začni nov pogovor.
Kdaj je en AI pogovor predolg?
Ni fiksne številke, ampak kakovost običajno začne padati nekje po dvajsetih do tridesetih vsebinskih izmenjavah. Boljše pravilo je tematsko: ko preklopiš na resnično novo nalogo, začni novo nit.