Šta je ograničenje tokena?
Token limit je ograničenje na to koliko tokena, dijelova teksta od otprilike tri četvrtine riječi svaki, AI model može obraditi u jednom zahtjevu, uključujući i istoriju razgovora i sopstveni odgovor.
Modeli ne čitaju riječi, oni čitaju tokene. Token je otprilike tri četvrtine engleske riječi, tako da hiljadu riječi košta negdje oko hiljadu trista tokena. Interpunkcija, kod i tekst koji nije na engleskom se tokeniziraju manje efikasno, zbog čega stranica koda pojede mnogo više budžeta od stranice proze.
Ograničenje se primjenjuje na cijeli zahtjev, ne na tvoju posljednju poruku. To je detalj koji skoro svi pogrešno shvate. Odgovor od tri riječi se i dalje dodaje na cijeli prethodni razgovor prije nego što se pošalje, tako da mala poruka može biti ta koja gurne dugačku nit preko ivice. Definicije alata i povezane integracije se naplaćuju iz istog budžeta, zbog čega onemogućavanje nekorištenih alata može vratiti pravi prostor.
how this works in folk
Folk pazi na svoj budžet tokena i sažima ga prije nego što ponestane, tako da ti nisi taj koji to prati. Nema brojača koji treba da čuvaš i nema tačke na kojoj razgovor odbija da se nastavi.
frequently asked
Koliko riječi ima jedan token?
Otprilike tri četvrtine riječi na engleskom, tako da je 1.000 tokena oko 750 riječi. Kod, interpunkcija i drugi jezici se tokenizuju manje efikasno i troše više budžeta po karakteru.
Zašto piše maksimalna dužina kada je moja poruka bila kratka?
Zato što se ograničenje računa na cijeli razgovor, ne na tvoju posljednju poruku. Svaka prethodna razmjena se ponovo šalje sa svakim novim potezom, tako da kratka poruka može biti ta koja prebaci ukupan broj preko granice.
Da li se otpremljeni fajlovi računaju u ograničenje tokena?
Da. Fajlovi, slike, definicije alata i sistemska uputstva troše isti budžet kao tvoje poruke, zato se razgovor sa nekoliko priloga napuni mnogo brže nego onaj sa samo tekstom.