Czym jest limit tokenów?
Limit tokenów to górna granica liczby tokenów (kawałków tekstu, z których każdy to mniej więcej trzy czwarte słowa), które model AI może przetworzyć w jednym zapytaniu, wliczając historię rozmowy i własną odpowiedź.
Modele nie czytają słów, tylko tokeny. Token to mniej więcej trzy czwarte angielskiego słowa, więc tysiąc słów kosztuje około trzynastu setek tokenów. Interpunkcja, kod i tekst nieangielski tokenizują się mniej wydajnie, dlatego strona kodu zjada dużo więcej budżetu niż strona prozy.
Limit dotyczy całego zapytania, a nie twojej ostatniej wiadomości. To szczegół, który prawie wszyscy źle rozumieją. Trzywyrazowa odpowiedź nadal jest doklejana do całej poprzedniej rozmowy przed wysłaniem, więc malutka wiadomość może być tą, która przeleje długi wątek. Definicje narzędzi i połączone integracje są liczone w tym samym budżecie, dlatego wyłączenie nieużywanych narzędzi może odzyskać realne miejsce.
jak to działa w folk
Folk pilnuje własnego budżetu tokenów i kompaktuje, zanim się skończy, więc to nie ty musisz go śledzić. Nie ma licznika do pilnowania ani momentu, w którym rozmowa odmawia kontynuowania.
często zadawane pytania
Ile słów to token?
Mniej więcej trzy czwarte słowa po angielsku, więc 1000 tokenów to około 750 słów. Kod, interpunkcja i inne języki tokenizują się mniej wydajnie i zużywają więcej budżetu na znak.
Dlaczego pisze, że osiągnięto maksymalną długość, skoro moja wiadomość była krótka?
Bo limit liczy całą rozmowę, a nie twoją ostatnią wiadomość. Każda wcześniejsza wymiana jest wysyłana ponownie z każdą turą, więc krótka wiadomość może być tą, która przesuwa sumę ponad sufit.
Czy wgrane pliki liczą się do limitu tokenów?
Tak. Pliki, obrazy, definicje narzędzi i instrukcje systemowe zużywają ten sam budżet co twoje wiadomości, dlatego wątek z kilkoma załącznikami zapełnia się dużo szybciej niż czysty tekst.