컨텍스트 윈도우란 뭘까요?
컨텍스트 윈도우는 AI 모델이 한 번에 작업 기억에 담을 수 있는 최대 텍스트 양이에요. 대화 속 모든 메시지, 파일, 도구 정의가 다 여기에 포함돼요.
모델에 보내는 모든 것은 한정된 같은 공간을 두고 경쟁해요. 시스템 프롬프트, 대화 속 모든 메시지, 업로드한 파일, 도구 정의, 그리고 모델이 이제 쓸 답변까지요. 그 공간이 컨텍스트 윈도우이고, 단어가 아니라 토큰 단위로 재요. 대화가 그 공간을 꽉 채우면 뭔가는 빠져야 하고, 거의 항상 가장 오래된 내용이 빠져요.
그래서 비서가 다섯 번째 턴에선 첫 메시지를 완벽하게 인용하다가, 이백 번째 턴쯤엔 내가 뭐라고 했는지 전혀 모르는 거예요. 화면에는 인터페이스가 저장해둬서 텍스트가 아직 남아 있지만, 모델에는 더 이상 전달되지 않아요. 컨텍스트 윈도우는 제품과 요금제마다 크게 달라요. 회사가 광고하는 숫자는 모델의 최대 용량이지, 일반 채팅 앱이 매 턴 실제로 불러오는 양과 꼭 같진 않아요.
folk에서는 이렇게 작동해요
Folk는 긴 대화를 자동으로 압축하지만, 더 유용한 차이는 메모리가 대화방 하나에 묶여 있지 않다는 거예요. 지난달에 말한 것도 다음에 문자할 때 그대로 기억해요. 어떤 곳에서 쓰고 있든요.
자주 묻는 질문
컨텍스트 윈도우 한도에 다다르면 어떻게 돼요?
비서가 대화를 더 이어가지 않거나, 가장 오래된 메시지를 조용히 버리고 처음부터 없었던 것처럼 계속 답해요. 조용히 버리는 쪽이 더 흔하고, 알아채기도 훨씬 어려워요.
컨텍스트 윈도우가 크면 답도 더 좋아요?
꼭 그렇진 않아요. 컨텍스트가 커질수록 주의가 얇게 퍼져서, 한도에 닿기 훨씬 전부터 품질이 떨어지는 경우가 많아요. 이걸 컨텍스트 부패라고 하고, 그래서 하나의 거대한 대화보다 주제가 분명한 대화가 보통 더 나아요.
유료 구독을 하면 컨텍스트 윈도우가 커져요?
그럴 때도 있지만 생각보다 덜해요. 유료 요금제는 보통 대화 하나의 최대치보다는 메시지 사용 한도를 올려줘요. 그래서 업그레이드해도 긴 대화가 꽉 차는 건 못 막는 경우가 많아요.