Hvad er en token-grænse?
En token-grænse er loftet over, hvor mange tokens, bidder af tekst på cirka tre fjerdedele af et ord hver, en AI-model kan behandle i en enkelt anmodning, inklusive både samtalehistorikken og dens eget svar.
Modeller læser ikke ord, de læser tokens. Et token er cirka tre fjerdedele af et engelsk ord, så tusind ord koster omkring tretten hundrede tokens. Tegnsætning, kode og ikke-engelsk tekst tokeniseres mindre effektivt, og derfor æder en side kode langt mere budget end en side prosa.
Grænsen gælder for hele forespørgslen, ikke kun din seneste besked. Det er den detalje, næsten alle tager fejl af. En opfølgning på tre ord bliver stadig tilføjet hele den forudgående samtale, før den sendes, så en lille besked kan være den, der tipper en lang tråd over kanten. Værktøjsdefinitioner og tilsluttede integrationer trækkes fra det samme budget, og derfor kan deaktivering af ubrugte værktøjer give dig rigtig meget plads tilbage.
hvordan det fungerer i folk
Folk holder øje med sit eget token-budget og komprimerer, før det løber ud, så det ikke er dig, der skal holde styr på det. Der er ingen tæller at passe, og der er ikke noget punkt, hvor samtalen nægter at fortsætte.
ofte stillede
Hvor mange ord er et token?
Cirka tre fjerdedele af et ord på engelsk, så 1.000 tokens er omkring 750 ord. Kode, tegnsætning og andre sprog tokeniserer mindre effektivt og bruger mere af budgettet per tegn.
Hvorfor står der maksimal længde, når min besked var kort?
Fordi grænsen tæller hele samtalen, ikke kun din sidste besked. Hver tidligere udveksling sendes igen for hver tur, så en kort besked kan være den, der skubber totalen over loftet.
Tæller uploadede filer med i token-grænsen?
Ja. Filer, billeder, værktøjsdefinitioner og systeminstruktioner bruger alle samme budget som dine beskeder, og derfor bliver en tråd med flere vedhæftninger fyldt meget hurtigere end en med ren tekst.