컨텍스트 부패란 뭘까요?
컨텍스트 부패는 대화가 길어질수록 AI 답변 품질이 떨어지는 현상이에요. 모델의 주의가 더 많은 토큰에 퍼지면서 앞쪽 지침의 영향력이 약해져서 생겨요.
컨텍스트 부패는 공간이 부족해지는 것과 달라요. 모델은 최근 토큰에 먼 토큰보다 더 큰 비중을 두기 때문에, 한도에 닿기 훨씬 전부터 시작돼요. 첫 메시지에서 정한 지침은 기술적으론 아직 컨텍스트 안에 있지만 중요도가 낮게 매겨져서, 모델이 읽긴 해도 사실상 무시해요.
증상은 알아보기 쉬워요. 초반에 정한 형식 규칙이 슬그머니 안 지켜지거나, 정해둔 제약이 깨지거나, 이미 답한 걸 비서가 다시 물어봐요. Anthropic도 긴 Claude Code 세션에 대한 자체 가이드에서 이 현상을 설명하면서, 주의가 더 많은 토큰에 퍼지고 오래된 내용이 지금 작업에 방해가 되기 시작해서 컨텍스트가 커질수록 성능이 떨어진다고 말해요.
현실적인 대책은 모두 다시 기준을 잡아주는 방식이에요. 열 번쯤 주고받을 때마다 핵심 지침을 다시 말하고, 중요한 제약은 더 무게가 실리는 메시지 끝부분에 넣고, 정말 관련 없는 작업은 한 대화에 쌓지 말고 다른 대화로 나눠요.
folk에서는 이렇게 작동해요
압축은 용량뿐 아니라 부패에도 도움이 돼요. 오래된 턴을 요약하면 주의를 흐리던 잡음이 사라지니까요. Folk는 가장 최근 턴과 처음 설정한 틀은 지키고, 그 사이를 압축해요.
자주 묻는 질문
컨텍스트 부패는 컨텍스트 한도에 닿는 거랑 같은 거예요?
아니요. 한도에 닿는 건 내용이 잘려나가는 확실한 경계예요. 컨텍스트 부패는 한도보다 훨씬 전부터 시작되는 점진적인 품질 저하로, 더 커진 대화에 주의가 얇게 퍼져서 생겨요.
AI가 내 지침을 안 따르기 시작하면 어떻게 고쳐요?
다시 기준을 잡아줘요. 다음 메시지 맨 위에 핵심 결정과 제약을 3~5줄로 요약해서 붙이고, 앞에서 정한 형식 규칙도 다시 말해줘요. 주제가 정말 바뀌었다면 새 대화를 시작해요.
AI 대화 하나는 얼마나 길면 너무 긴 거예요?
정해진 숫자는 없지만, 내용 있는 대화를 스무 번에서 서른 번쯤 주고받은 뒤부터 품질이 떨어지기 시작하는 경우가 많아요. 더 좋은 기준은 주제예요. 정말 새로운 작업으로 넘어가면 새 대화를 시작해요.