Què és un límit de tokens?
Un límit de tokens és el màxim de tokens (fragments de text d'aproximadament tres quartes parts d'una paraula cadascun) que un model d'IA pot processar en una sola sol·licitud, incloent-hi tant l'historial de la conversa com la seva pròpia resposta.
Els models no llegeixen paraules, llegeixen tokens. Un token és aproximadament tres quartes parts d'una paraula en anglès, així que mil paraules costen prop de mil tres-cents tokens. La puntuació, el codi i el text que no és en anglès es tokenitzen de manera menys eficient, i per això una pàgina de codi consumeix molt més pressupost que una pàgina de prosa.
El límit s'aplica a tota la sol·licitud, no al teu últim missatge. Aquest és el detall en què gairebé tothom s'equivoca. Una resposta de seguiment de tres paraules encara s'afegeix a tota la conversa anterior abans d'enviar-se, així que un missatge petit pot ser el que faci que un fil llarg es passi de la ratlla. Les definicions d'eines i les integracions connectades es cobren del mateix pressupost, i per això desactivar eines que no fas servir pot recuperar espai de veritat.
com funciona això a folk
Folk controla el seu propi pressupost de tokens i compacta abans que s'esgoti, així que no ets tu qui l'ha de seguir. No hi ha cap comptador que hagis de vigilar ni cap punt en què la conversa es negui a continuar.
preguntes freqüents
Quantes paraules té un token?
Aproximadament tres quartes parts d'una paraula en anglès, així que 1.000 tokens són unes 750 paraules. El codi, la puntuació i altres llengües es tokenitzen de manera menys eficient i consumeixen més pressupost per caràcter.
Per què diu longitud màxima quan el meu missatge era curt?
Perquè el límit compta tota la conversa, no només el teu últim missatge. Cada intercanvi anterior es torna a enviar a cada torn, així que un missatge curt pot ser el que faci que el total passi del sostre.
Els fitxers pujats compten per al límit de tokens?
Sí. Els fitxers, les imatges, les definicions d'eines i les instruccions de sistema consumeixen el mateix pressupost que els teus missatges, i per això un fil amb diversos adjunts s'omple molt més de pressa que un de només text.