Kas yra konteksto puvimas?
Konteksto irimas yra AI atsakymų kokybės smukimas, kai pokalbis ilgėja, nes modelio dėmesys pasklinda per daugiau tokenų, kol ankstesnės instrukcijos praranda įtaką.
Konteksto puvimas nėra tas pats, kas vietos pritrūkimas. Jis prasideda gerokai prieš griežtą limitą, nes modelis naujesnius tokenus vertina labiau nei senesnius. Nurodymai, kuriuos įrašei pirmoje žinutėje, techniškai dar yra kontekste, bet jiems suteikiamas mažas svarbumas, todėl modelis juos perskaito ir iš esmės ignoruoja.
Simptomai atpažįstami: anksti nustatyta formato taisyklė tyliai nustoja būti paisoma, nustatytas apribojimas pradedamas pažeidinėti, arba asistentas vėl klausia to, ką jau atsakei. Anthropic pažymi šį efektą savo rekomendacijose apie ilgas Claude Code sesijas: našumas mažėja, kai kontekstas auga, nes dėmesys pasklinda per daugiau tokenų, o senesnis turinys pradeda blaškyti nuo dabartinės užduoties.
Praktinės priešpriemonės yra visos perorientavimo formos. Pakartok pagrindines instrukcijas kas dešimt ar tiek mainų, įdėk svarbiausius apribojimus į savo žinutės pabaigą, kur jie turi didesnę reikšmę, ir suskirstyk tikrai nesusijusias užduotis į atskirus pokalbius, o ne sukrauk jas į vieną giją.
kaip tai veikia folk
Suspaudimas padeda tiek su puvimu, tiek su talpa, nes pasenusių posūkių apibendrinimas pašalina triukšmą, kuris skiedė dėmesį. Folk apsaugo naujausius posūkius ir pradinį rėmą, tada suspaudžia tai, kas yra tarp jų.
dažnai užduodami klausimai
Ar konteksto irimas yra tas pats, kas pasiekti konteksto limitą?
Ne. Pasiekus limitą, tai yra kieta riba, kai turinys išmetamas. Konteksto irimas yra laipsniškas kokybės smukimas, prasidedantis gerokai prieš limitą, nes dėmesys išsisklaido didesniame pokalbyje.
Kaip sutvarkyti AI, kuris nustojo vykdyti mano nurodymus?
Įtvirtink iš naujo. Įklijuok trijų penkių eilučių santrauką apie pagrindinius sprendimus ir apribojimus savo kitos žinutės viršuje ir dar kartą nurodyk bet kokią formato taisyklę, kurią nustatei anksčiau. Jei tema tikrai pasikeitė, geriau pradėk naują pokalbį.
Kiek per ilga yra viena AI pokalbio sesija?
Nėra fiksuoto skaičiaus, bet kokybė paprastai pradeda kristi po dvidešimties–trisdešimties esminių apsikeitimų. Geresnė taisyklė yra teminė: kai pereini prie visiškai naujos užduoties, pradėk naują giją.