Čo je context rot?
Hniloba kontextu je pokles kvality odpovedí AI, keď sa rozhovor predlžuje. Je to tým, že pozornosť modelu sa rozprestiera na viac tokenov, až skoršie inštrukcie stratia vplyv.
Context rot nie je to isté ako nedostatok miesta. Nastupuje dávno pred tvrdým limitom, pretože model prikladá väčšiu váhu nedávnym tokenom než vzdialeným. Inštrukcie, ktoré nastavíš v prvej správe, sú technicky stále v kontexte, ale majú nízku dôležitosť, takže model ich prečíta a v podstate ignoruje.
Príznaky spoznáš: pravidlo formátu, ktoré si zaviedol na začiatku, sa potichu prestane dodržiavať, obmedzenie, ktoré si nastavil, sa poruší, alebo sa asistent znova opýta na niečo, čo si už odpovedal. Anthropic tento efekt opisuje vo svojich odporúčaniach pre dlhé sedenia s Claude Code, kde upozorňuje, že výkon klesá, ako rastie kontext, pretože pozornosť sa rozprestiera na viac tokenov a starší obsah začne odvádzať pozornosť od aktuálnej úlohy.
Praktické opatrenia sú všetky formy opätovného ukotvenia. Zopakuj hlavné inštrukcie približne každých desať výmen, dôležité obmedzenia daj na koniec správy, kde majú väčšiu váhu, a naozaj nesúvisiace úlohy rozdeľ do samostatných konverzácií, namiesto toho, aby si ich nahromadil do jedného vlákna.
ako to funguje vo folku
Compaction pomáha aj s rozpadom, aj s kapacitou, pretože zhrnutie starých kôl odstráni šum, ktorý rozptyľoval pozornosť. Folk chráni najnovšie kolá a pôvodné zadanie a to, čo je medzi tým, stlačí.
časté otázky
Je hniloba kontextu to isté ako narazenie na limit kontextu?
Nie. Narazenie na limit je tvrdá hranica, za ktorou obsah vypadne. Context rot je postupné zhoršovanie kvality, ktoré začína dávno pred limitom, pretože pozornosť sa rozriedi na väčšiu konverzáciu.
Ako opravím AI, ktorá prestala dodržiavať moje pokyny?
Zakotvi sa znova. Na začiatok ďalšej správy vlož troj- až päťriadkové zhrnutie kľúčových rozhodnutí a obmedzení a zopakuj akékoľvek pravidlo formátu, ktoré si nastavil predtým. Ak sa téma naozaj zmenila, radšej začni novú konverzáciu.
Ako dlho je príliš dlho na jednu AI konverzáciu?
Neexistuje pevné číslo, ale kvalita zvyčajne začne klesať niekde po dvadsiatich až tridsiatich podstatných výmenách. Lepšie pravidlo je tematické: keď prejdeš na úplne novú úlohu, začni nové vlákno.