Čo je limit tokenov?
Token limit je strop pre to, koľko tokenov, častí textu, z ktorých každá je približne tri štvrtiny slova, dokáže AI model spracovať v jednej požiadavke, vrátane histórie konverzácie aj vlastnej odpovede.
Modely nečítajú slová, čítajú tokeny. Token je približne tri štvrtiny anglického slova, takže tisíc slov stojí niekde okolo tisíctristo tokenov. Interpunkcia, kód a neanglický text sa tokenizujú menej efektívne, a preto stránka kódu zožerie oveľa viac rozpočtu ako stránka prózy.
Limit sa vzťahuje na celú požiadavku, nie na tvoju poslednú správu. To je detail, ktorý takmer každý pochopí zle. Trojslovná odpoveď sa pred odoslaním stále pripojí k celej predchádzajúcej konverzácii, takže malá správa môže byť tá, ktorá prevrhne dlhé vlákno. Definície nástrojov a pripojené integrácie sa účtujú proti rovnakému rozpočtu, a preto deaktivácia nepoužívaných nástrojov môže získať späť skutočný priestor.
ako to funguje vo folku
Folk si stráži vlastný tokenový rozpočet a zbalí kontext skôr, než sa minie, takže ty to nemusíš sledovať. Nie je tu žiadne počítadlo, ktoré by si musel strážiť, ani bod, v ktorom by rozhovor odmietol pokračovať.
časté otázky
Koľko slov má token?
Približne tri štvrtiny slova v angličtine, takže 1 000 tokenov je asi 750 slov. Kód, interpunkcia a iné jazyky sa tokenizujú menej efektívne a spotrebujú viac rozpočtu na znak.
Prečo píše maximálna dĺžka, keď moja správa bola krátka?
Pretože limit počíta celú konverzáciu, nie tvoju poslednú správu. Každá predchádzajúca výmena sa posiela znova s každým ťahom, takže krátka správa môže byť tá, ktorá posunie celkový počet cez strop.
Počítajú sa nahrané súbory do limitu tokenov?
Áno. Súbory, obrázky, definície nástrojov a systémové inštrukcie spotrebúvajú rovnaký rozpočet ako tvoje správy, a preto sa vlákno s niekoľkými prílohami zaplní oveľa rýchlejšie než to s čistým textom.