Šta je ograničenje tokena?
Token limit je gornja granica koliko tokena, dijelova teksta od otprilike tri četvrtine riječi svaki, AI model može obraditi u jednom zahtjevu, uključujući i historiju razgovora i vlastiti odgovor.
Modeli ne čitaju reči, oni čitaju tokene. Token je otprilike tri četvrtine engleske reči, tako da hiljadu reči košta negde oko hiljadu trista tokena. Interpunkcija, kod i tekst koji nije na engleskom se tokenizuju manje efikasno, zbog čega stranica koda troši mnogo više budžeta od stranice proze.
Ograničenje se primenjuje na ceo zahtev, a ne na tvoju poslednju poruku. To je detalj koji skoro svi pogreše. Nastavak od tri reči se i dalje dodaje na celu prethodnu konverzaciju pre nego što se pošalje, tako da mala poruka može biti ta koja gurne dugačku nit preko ivice. Definicije alata i povezane integracije se naplaćuju iz istog budžeta, zbog čega onemogućavanje nekorišćenih alata može da vrati pravi prostor.
kako ovo funkcioniše u folku
Folk pazi na svoj token budžet i sažima ga prije nego što se potroši, tako da ti ne moraš pratiti. Nema brojača koji treba paziti niti točke na kojoj razgovor odbija da se nastavi.
često postavljana pitanja
Koliko riječi ima jedan token?
Otprilike tri četvrtine riječi na engleskom, tako da je 1.000 tokena oko 750 riječi. Kod, interpunkcija i drugi jezici se tokeniziraju manje efikasno i troše više budžeta po znaku.
Zašto piše maksimalna dužina kada je moja poruka bila kratka?
Zato što ograničenje računa cijeli razgovor, a ne tvoju posljednju poruku. Svaka prethodna razmjena se ponovo šalje sa svakim novim potezom, pa kratka poruka može biti ta koja ukupnu količinu prebaci preko granice.
Da li se uploadovani fajlovi računaju u token limit?
Da. Datoteke, slike, definicije alata i sistemske instrukcije troše isti budžet kao i tvoje poruke, zato se razgovor s nekoliko priloga napuni mnogo brže nego onaj sa samo tekstom.