Co je to token limit?
Token limit je strop pro to, kolik tokenů, tedy kousků textu, zhruba tři čtvrtiny slova každý, může AI model zpracovat v jednom požadavku, včetně historie konverzace a vlastní odpovědi.
Modely nečtou slova, čtou tokeny. Token je zhruba tři čtvrtiny anglického slova, takže tisíc slov stojí někde kolem tisíce tří set tokenů. Interpunkce, kód a neanglický text se tokenizují méně efektivně, a proto stránka kódu spotřebuje mnohem více rozpočtu než stránka prózy.
Limit se vztahuje na celý požadavek, ne na tvoji poslední zprávu. To je detail, který skoro všichni pletou. Tříslovná odpověď se před odesláním stejně připojí k celé předchozí konverzaci, takže malá zpráva může být ta, která překročí limit dlouhého vlákna. Definice nástrojů a připojené integrace se počítají do stejného rozpočtu, a proto vypnutí nepoužívaných nástrojů může uvolnit skutečný prostor.
jak to funguje ve folku
Folk si hlídá vlastní rozpočet tokenů a zkomprimuje ho, než dojde, takže to nemusíš sledovat ty. Není tu žádné počítadlo, které bys musel hlídat, ani bod, kdy by konverzace odmítla pokračovat.
časté dotazy
Kolik slov je token?
Zhruba tři čtvrtiny slova v angličtině, takže 1 000 tokenů je asi 750 slov. Kód, interpunkce a jiné jazyky se tokenizují méně efektivně a spotřebují více rozpočtu na znak.
Proč to hlásí maximální délku, když byla moje zpráva krátká?
Protože limit počítá celou konverzaci, ne jen tvoji poslední zprávu. Každá předchozí výměna se posílá znovu s každým dalším tahem, takže i krátká zpráva může být ta, která překročí strop.
Počítají se nahrané soubory do limitu tokenů?
Ano. Soubory, obrázky, definice nástrojů a systémové instrukce spotřebovávají stejný limit jako tvoje zprávy, a proto se vlákno s několika přílohami zaplní mnohem rychleji než to s čistým textem.