Какво е context rot?
Context rot е спадът в качеството на отговорите на AI, когато разговорът става по-дълъг, причинен от това, че вниманието на модела се разпръсква върху повече токени, докато по-ранните инструкции загубят влияние.
Context rot не е същото като изчерпване на мястото. Започва много преди твърдата граница, защото моделът придава по-голяма тежест на скорошните токени, отколкото на далечните. Инструкциите, които задаваш в първото си съобщение, технически още са в контекста, но с ниска значимост, така че моделът ги чете и на практика ги игнорира.
Симптомите са разпознаваеми: правило за формат, което си установил в началото, тихо спира да се спазва, ограничение, което си задал, бива нарушено, или асистентът пита отново нещо, на което вече си отговорил. Anthropic описва ефекта в собствените си насоки за дълги сесии с Claude Code, отбелязвайки, че производителността се влошава с нарастването на контекста, защото вниманието се разпръсква върху повече токени и по-старото съдържание започва да отвлича от текущата задача.
Практичните противодействия са все форми на повторно закотвяне. Повтаряй основните инструкции на всеки десетина разменени съобщения, поставяй критичните ограничения към края на съобщението си, където тежат повече, и разделяй наистина несвързаните задачи в отделни разговори, вместо да ги трупаш в една нишка.
как работи това във folk
Компактирането помага както с гниенето, така и с капацитета, защото обобщаването на остарелите реплики маха шума, който разводняваше вниманието. Folk пази най-новите реплики и първоначалната рамка, после компресира това между тях.
често задавани
Context rot същото нещо ли е като достигане на лимита на контекста?
Не. Достигането на лимита е твърда граница, където съдържанието се изхвърля. Context rot е постепенно влошаване на качеството, което започва много преди лимита, причинено от това, че вниманието се разсейва в по-голям разговор.
Как да оправя AI, който спря да следва инструкциите ми?
Закотви отново. Постави резюме от три до пет реда на ключовите решения и ограничения в началото на следващото си съобщение и повтори всяко правило за формат, което си задал по-рано. Ако темата наистина се е променила, започни нов разговор.
Колко дълъг е твърде дълъг за един AI разговор?
Няма фиксирано число, но качеството обикновено започва да се влошава някъде след двадесет до тридесет съществени размени. По-добро правило е тематично: когато преминеш към наистина нова задача, започни нова нишка.