Kas ir konteksta puve?
Konteksta puve ir AI atbilžu kvalitātes pasliktināšanās, sarunai kļūstot garākai, ko izraisa modeļa uzmanības izkliedēšanās pa vairāk tokeniem, līdz agrākās instrukcijas zaudē ietekmi.
Konteksta puve nav tas pats, kas vietas izbeigšanās. Tā iestājas krietni pirms cietā limita, jo modelis piešķir lielāku svaru nesenajiem tokeniem nekā attāliem. Instrukcijas, ko iestatīji savā pirmajā ziņojumā, tehniski joprojām ir kontekstā, bet tām piešķirta zema nozīme, tāpēc modelis tās nolasa un faktiski ignorē.
Simptomi ir atpazīstami: formāta noteikums, ko tu agri ieviesi, klusi vairs netiek ievērots, ierobežojums, ko tu uzstādīji, tiek pārkāpts, vai asistents atkārtoti jautā kaut ko, uz ko tu jau atbildēji. Anthropic apraksta šo efektu savās vadlīnijās par garām Claude Code sesijām, norādot, ka veiktspēja pasliktinās, pieaugot kontekstam, jo uzmanība tiek sadalīta pa vairāk tokeniem un vecāks saturs sāk novērst uzmanību no pašreizējā uzdevuma.
Praktiskie pretpasākumi ir visu veidu atkārtota noenkurošana. Atkārto galvenos norādījumus ik pēc desmit vai tik apmaiņām, liec svarīgos ierobežojumus tuvāk ziņas beigām, kur tiem ir lielāks svars, un sadali patiešām nesaistītus uzdevumus atsevišķās sarunās, nevis krauj tos vienā pavedienā.
kā tas darbojas folk
Kompaktēšana palīdz gan pret puvi, gan pret ietilpības problēmām, jo novecojušu sarunas posmu apkopošana noņem troksni, kas atšķaidīja uzmanību. Folk aizsargā jaunākās sarunas daļas un sākotnējo ietvaru, pēc tam saspiež to, kas ir pa vidu.
biežāk uzdotie
Vai konteksta puve ir tas pats, kas konteksta limita sasniegšana?
Nē. Limita sasniegšana ir stingra robeža, kur saturs tiek izmests. Konteksta puve ir pakāpeniska kvalitātes pasliktināšanās, kas sākas ilgi pirms limita, jo uzmanība izkliedējas lielākā sarunā.
Kā salabot AI, kas vairs neievēro manus norādījumus?
Atjauno kontekstu. Ielīmē trīs līdz piecu rindu kopsavilkumu par galvenajiem lēmumiem un ierobežojumiem sava nākamā ziņojuma sākumā un atkārto jebkuru formāta noteikumu, ko uzstādīji iepriekš. Ja tēma patiešām ir mainījusies, tā vietā sāc jaunu sarunu.
Cik ilga ir pārāk ilga viena AI saruna?
Nav noteikta skaitļa, bet kvalitāte parasti sāk pasliktināties pēc divdesmit līdz trīsdesmit būtiskām sarunām. Labāks noteikums ir tematisks: kad pārej uz patiešām jaunu uzdevumu, sāc jaunu pavedienu.