토큰 한도란 뭘까요?
토큰 한도는 AI 모델이 한 번의 요청에서 처리할 수 있는 토큰 수의 상한이에요. 토큰은 대략 영어 단어 4분의 3 정도 되는 텍스트 조각이고, 대화 기록과 모델의 답변이 모두 포함돼요.
모델은 단어가 아니라 토큰을 읽어요. 토큰 하나는 대략 영어 단어 4분의 3 정도라서, 천 단어면 토큰 천삼백 개쯤 들어요. 문장 부호, 코드, 영어가 아닌 텍스트는 토큰화 효율이 더 낮아서, 코드 한 페이지가 일반 글 한 페이지보다 훨씬 많은 예산을 잡아먹어요.
한도는 마지막 메시지가 아니라 요청 전체에 적용돼요. 거의 모두가 잘못 아는 부분이에요. 세 단어짜리 짧은 후속 메시지도 보내기 전에 앞선 대화 전체에 붙어서 가기 때문에, 아주 작은 메시지가 긴 대화를 한도 너머로 넘기는 마지막 한 방이 될 수 있어요. 도구 정의와 연결된 연동도 같은 예산에서 차감돼요. 그래서 안 쓰는 도구를 끄면 꽤 많은 공간을 되찾을 수 있어요.
folk에서는 이렇게 작동해요
Folk는 자기 토큰 예산을 지켜보다가 바닥나기 전에 압축해요. 그래서 직접 신경 쓸 필요가 없어요. 지켜봐야 할 카운터도 없고, 대화가 더 이상 안 이어지는 순간도 없어요.
자주 묻는 질문
토큰 하나는 몇 단어예요?
영어 기준으로 대략 단어 4분의 3이라서, 토큰 1,000개는 약 750단어예요. 코드, 문장 부호, 다른 언어는 토큰화 효율이 낮아서 글자당 더 많은 예산을 써요.
메시지가 짧았는데 왜 최대 길이를 넘었다고 나와요?
한도는 마지막 메시지가 아니라 대화 전체를 세기 때문이에요. 턴마다 이전 대화가 전부 다시 보내지니까, 짧은 메시지 하나가 전체를 한도 너머로 밀어낼 수 있어요.
업로드한 파일도 토큰 한도에 포함돼요?
네. 파일, 이미지, 도구 정의, 시스템 지침이 모두 메시지와 같은 예산을 써요. 그래서 첨부 파일이 여러 개 있는 대화는 텍스트만 있는 대화보다 훨씬 빨리 차요.