O que é um limite de tokens?
Um limite de tokens é o teto de quantos tokens, pedaços de texto de mais ou menos três quartos de uma palavra cada, um modelo de IA consegue processar num único pedido, incluindo o histórico da conversa e a própria resposta.
Os modelos não leem palavras, leem tokens. Um token é mais ou menos três quartos de uma palavra em inglês, então mil palavras custam algo perto de mil e trezentos tokens. Pontuação, código e textos fora do inglês viram tokens de forma menos eficiente, e é por isso que uma página de código consome muito mais orçamento que uma página de texto corrido.
O limite vale pro pedido inteiro, não pra sua última mensagem. Esse é o detalhe que quase todo mundo entende errado. Uma resposta de três palavras ainda é anexada a toda a conversa anterior antes de ser enviada, então uma mensagem minúscula pode ser a que faz uma conversa longa passar do limite. Definições de ferramentas e integrações conectadas são descontadas do mesmo orçamento, e é por isso que desativar ferramentas que você não usa pode liberar espaço de verdade.
como isso funciona no folk
O Folk acompanha o próprio orçamento de tokens e compacta antes de acabar, então não é você quem precisa ficar de olho. Não tem contador pra vigiar e nenhum momento em que a conversa se recusa a continuar.
perguntas frequentes
Quantas palavras tem um token?
Mais ou menos três quartos de uma palavra em inglês, então 1.000 tokens são cerca de 750 palavras. Código, pontuação e outros idiomas viram tokens de forma menos eficiente e consomem mais do orçamento por caractere.
Por que aparece tamanho máximo se minha mensagem era curta?
Porque o limite conta a conversa inteira, não sua última mensagem. Cada troca anterior é reenviada a cada rodada, então uma mensagem curta pode ser a que empurra o total pra cima do teto.
Arquivos enviados contam pro limite de tokens?
Sim. Arquivos, imagens, definições de ferramentas e instruções do sistema consomem o mesmo orçamento que suas mensagens, e é por isso que uma conversa com vários anexos enche bem mais rápido que uma só de texto.