C'est quoi, une limite de tokens ?
Une limite de tokens, c'est le plafond du nombre de tokens (des morceaux de texte d'environ trois quarts de mot chacun) qu'un modèle d'IA peut traiter en une seule requête, historique de la conversation et réponse comprises.
Les modèles ne lisent pas des mots, ils lisent des tokens. Un token, c'est environ trois quarts d'un mot anglais, donc mille mots coûtent autour de mille trois cents tokens. La ponctuation, le code et les textes dans d'autres langues que l'anglais se découpent moins efficacement, c'est pour ça qu'une page de code consomme bien plus de budget qu'une page de texte.
La limite s'applique à toute la requête, pas à ton dernier message. C'est le détail que presque tout le monde comprend mal. Une relance de trois mots est quand même ajoutée à toute la conversation précédente avant d'être envoyée, donc un tout petit message peut être celui qui fait déborder un long fil. Les définitions d'outils et les intégrations connectées sont comptées dans le même budget, c'est pour ça que désactiver les outils inutilisés peut libérer pas mal de place.
comment ça marche dans folk
Folk surveille son propre budget de tokens et compacte avant d'en manquer, donc ce n'est pas à toi de le suivre. Pas de compteur à surveiller, et aucun moment où la conversation refuse de continuer.
questions fréquentes
Un token, ça fait combien de mots ?
Environ trois quarts d'un mot en anglais, donc 1,000 tokens font à peu près 750 mots. Le code, la ponctuation et les autres langues se découpent moins efficacement et consomment plus de budget par caractère.
Pourquoi il me dit longueur maximale alors que mon message était court ?
Parce que la limite compte toute la conversation, pas ton dernier message. Chaque échange précédent est renvoyé à chaque tour, donc un message court peut être celui qui fait dépasser le plafond.
Les fichiers envoyés comptent-ils dans la limite de tokens ?
Oui. Les fichiers, les images, les définitions d'outils et les instructions système consomment tous le même budget que tes messages, c'est pour ça qu'un fil avec plusieurs pièces jointes se remplit bien plus vite qu'un fil avec juste du texte.