Vad är en tokengräns?
En tokengräns är taket för hur många tokens, textbitar på ungefär tre fjärdedels ord var, en AI-modell kan bearbeta i en enda förfrågan, både konversationshistoriken och sitt eget svar inräknat.
Modeller läser inte ord, de läser tokens. En token är ungefär tre fjärdedelar av ett engelskt ord, så tusen ord kostar runt tretton hundra tokens. Skiljetecken, kod och text på andra språk än engelska tokeniseras mindre effektivt, vilket är varför en sida kod äter mycket mer budget än en sida prosa.
Gränsen gäller hela förfrågan, inte ditt senaste meddelande. Det är detaljen nästan alla missar. En uppföljning på tre ord läggs ändå till hela konversationen före den innan den skickas, så ett pyttelitet meddelande kan vara det som får en lång tråd att tippa över kanten. Verktygsdefinitioner och anslutna integrationer räknas mot samma budget, vilket är varför det kan ge verkligt utrymme att stänga av oanvända verktyg.
så funkar det i folk
Folk bevakar sin egen tokenbudget och komprimerar innan den tar slut, så det är inte du som håller koll. Det finns ingen räknare att passa och ingen punkt där konversationen vägrar fortsätta.
vanliga frågor
Hur många ord är en token?
Ungefär tre fjärdedelar av ett ord på engelska, så 1 000 tokens är ungefär 750 ord. Kod, skiljetecken och andra språk tokeniseras mindre effektivt och förbrukar mer av budgeten per tecken.
Varför står det maxlängd när mitt meddelande var kort?
För att gränsen räknar hela konversationen, inte ditt senaste meddelande. Varje tidigare utbyte skickas om vid varje tur, så ett kort meddelande kan vara det som trycker totalen över taket.
Räknas uppladdade filer mot tokengränsen?
Ja. Filer, bilder, verktygsdefinitioner och systeminstruktioner förbrukar alla samma budget som dina meddelanden, vilket är varför en tråd med flera bilagor fylls mycket snabbare än en ren textråd.