Kva er ei token-grense?
Ei tokengrense er taket på kor mange token, altså tekstbitar på om lag tre firedelar av eit ord kvar, ein AI-modell kan handsama i éin førespurnad, inkludert både samtalehistorikken og svaret hans.
Modellar les ikkje ord, dei les tokens. Eit token er omtrent tre firedelar av eit engelsk ord, så tusen ord kostar om lag tretten hundre tokens. Teiknsetjing, kode og tekst på andre språk enn engelsk tokeniserer mindre effektivt, og det er grunnen til at ei side med kode et mykje meir av budsjettet enn ei side med prosa.
Grensa gjeld for heile førespurnaden, ikkje berre den siste meldinga di. Det er detaljen nesten alle tek feil. Ei oppfølgjing på tre ord blir framleis lagt til heile den føregåande samtalen før ho blir send, så ei bitte lita melding kan vere den som velter ein lang tråd over kanten. Verktøydefinisjonar og tilkopla integrasjonar blir belasta det same budsjettet, og det er grunnen til at å slå av ubrukte verktøy kan frigjere verkeleg plass.
korleis dette fungerer i folk
Folk passar på sitt eige tokenbudsjett og komprimerer før det går tomt, så du er ikkje den som må følgje med. Det finst ingen teljar å passe på og ingen punkt der samtalen nektar å halde fram.
ofte stilte spørsmål
Kor mange ord er eit token?
Omtrent tre firedelar av eit ord på engelsk, så 1 000 tokens er om lag 750 ord. Kode, teiknsetjing og andre språk tokeniserer mindre effektivt og brukar meir av budsjettet per teikn.
Kvifor står det maksimal lengd når meldinga mi var kort?
Fordi grensa tel heile samtalen, ikkje den siste meldinga di. Kvar tidlegare utveksling blir sendt på nytt for kvar runde, så ei kort melding kan vere den som dyttar totalen over taket.
Tel opplasta filer mot token-grensa?
Ja. Filer, bilete, verktøydefinisjonar og systeminstruksjonar brukar same budsjettet som meldingane dine, og det er grunnen til at ein tråd med fleire vedlegg fyller seg mykje raskare enn ein tråd med berre tekst.