Cos'è un limite di token?
Un limite di token è il tetto massimo di token, pezzetti di testo grandi più o meno tre quarti di una parola ciascuno, che un modello di AI può elaborare in una singola richiesta, contando sia la cronologia della conversazione sia la sua risposta.
I modelli non leggono parole, leggono token. Un token è più o meno tre quarti di una parola inglese, quindi mille parole costano circa milletrecento token. Punteggiatura, codice e testi non in inglese si dividono in token in modo meno efficiente, ed è per questo che una pagina di codice consuma molto più budget di una pagina di testo normale.
Il limite vale per l'intera richiesta, non per il tuo ultimo messaggio. È il dettaglio che sbagliano quasi tutti. Anche una risposta di tre parole viene aggiunta a tutta la conversazione precedente prima di essere inviata, quindi un messaggio minuscolo può essere proprio quello che fa traboccare una chat lunga. Le definizioni degli strumenti e le integrazioni collegate pesano sullo stesso budget, ed è per questo che disattivare gli strumenti che non usi può farti recuperare spazio vero.
come funziona in folk
Folk tiene d'occhio da solo il suo budget di token e compatta prima di esaurirlo, così non devi controllarlo tu. Nessun contatore da sorvegliare e nessun momento in cui la conversazione si rifiuta di andare avanti.
domande frequenti
Quante parole sono un token?
Più o meno tre quarti di una parola in inglese, quindi 1,000 token sono circa 750 parole. Codice, punteggiatura e altre lingue si dividono in token in modo meno efficiente e consumano più budget per carattere.
Perché mi dice lunghezza massima se il mio messaggio era corto?
Perché il limite conta l'intera conversazione, non il tuo ultimo messaggio. Ogni scambio precedente viene rimandato a ogni turno, quindi un messaggio corto può essere quello che fa superare il tetto al totale.
I file caricati contano per il limite di token?
Sì. File, immagini, definizioni degli strumenti e istruzioni di sistema consumano tutti lo stesso budget dei tuoi messaggi, ed è per questo che una chat con diversi allegati si riempie molto più in fretta di una solo testo.