Ce este o limită de tokeni?
Limita de tokeni e plafonul pentru câți tokeni, bucăți de text de vreo trei sferturi de cuvânt fiecare, poate procesa un model AI într-o singură cerere, incluzând atât istoricul conversației, cât și răspunsul lui.
Modelele nu citesc cuvinte, ci tokeni. Un token este aproximativ trei sferturi dintr-un cuvânt englez, așa că o mie de cuvinte costă în jur de o mie trei sute de tokeni. Punctuația, codul și textul non-englez se tokenizează mai puțin eficient, motiv pentru care o pagină de cod consumă mult mai mult buget decât o pagină de proză.
Limita se aplică întregii cereri, nu ultimului tău mesaj. Acesta este detaliul pe care aproape toată lumea îl greșește. Un follow-up de trei cuvinte este totuși adăugat la întreaga conversație precedentă înainte de a fi trimis, așa că un mesaj minuscul poate fi cel care împinge un fir lung peste margine. Definițiile uneltelor și integrările conectate sunt taxate din același buget, motiv pentru care dezactivarea uneltelor nefolosite poate recupera spațiu real.
cum funcționează asta în folk
Folk își urmărește propriul buget de tokeni și compactează înainte de a se termina, așa că nu tu ești cel care ține evidența. Nu există niciun contor de supravegheat și niciun punct în care conversația refuză să continue.
întrebări frecvente
Câte cuvinte are un token?
Aproximativ trei sferturi dintr-un cuvânt în engleză, deci 1.000 de tokenuri înseamnă cam 750 de cuvinte. Codul, punctuația și alte limbi se tokenizează mai puțin eficient și consumă mai mult din buget pe caracter.
De ce spune lungime maximă când mesajul meu a fost scurt?
Pentru că limita numără întreaga conversație, nu ultimul tău mesaj. Fiecare schimb anterior este retrimis la fiecare tură, așa că un mesaj scurt poate fi cel care împinge totalul peste plafon.
Fișierele încărcate contează pentru limita de tokeni?
Da. Fișierele, imaginile, definițiile de tool-uri și instrucțiunile de sistem consumă același buget ca mesajele tale, motiv pentru care un fir cu mai multe atașamente se umple mult mai repede decât unul cu doar text.