Hva er en tokengrense?
En token-grense er taket på hvor mange tokens, biter av tekst som grovt sett er tre firedeler av et ord hver, en AI-modell kan behandle i én forespørsel, inkludert både samtaleloggen og svaret den selv gir.
Modeller leser ikke ord, de leser tokens. En token er omtrent tre fjerdedeler av et engelsk ord, så tusen ord koster rundt tretten hundre tokens. Tegnsetting, kode og tekst på andre språk enn engelsk tokeniseres mindre effektivt, og derfor spiser en side med kode mye mer av budsjettet enn en side med prosa.
Grensen gjelder hele forespørselen, ikke bare den siste meldingen din. Det er detaljen nesten alle tar feil av. Et oppfølgingsspørsmål på tre ord blir fortsatt lagt til hele den forrige samtalen før det sendes, så en bitte liten melding kan være den som tipper en lang tråd over kanten. Verktøydefinisjoner og tilkoblede integrasjoner belastes det samme budsjettet, og derfor kan det å skru av ubrukte verktøy gi deg tilbake reell plass.
hvordan dette funker i folk
Folk holder øye med sitt eget token-budsjett og komprimerer før det tar slutt, så det er ikke du som må følge med. Det er ingen teller å passe på, og ingen punkt der samtalen nekter å fortsette.
ofte stilte spørsmål
Hvor mange ord er et token?
Omtrent tre fjerdedeler av et ord på engelsk, så 1 000 tokens er omtrent 750 ord. Kode, tegnsetting og andre språk tokeniseres mindre effektivt og bruker mer av budsjettet per tegn.
Hvorfor står det maksimal lengde når meldingen min var kort?
Fordi grensen teller hele samtalen, ikke bare den siste meldingen din. Hver tidligere utveksling sendes på nytt for hver runde, så en kort melding kan være den som dytter totalen over taket.
Teller opplastede filer mot token-grensen?
Ja. Filer, bilder, verktøydefinisjoner og systeminstruksjoner bruker samme budsjett som meldingene dine, og derfor fylles en tråd med flere vedlegg mye raskere enn en med bare tekst.