Što je ograničenje tokena?
Ograničenje tokena je gornja granica koliko tokena, komadića teksta od otprilike tri četvrtine riječi svaki, AI model može obraditi u jednom zahtjevu, uključujući i povijest razgovora i vlastiti odgovor.
Modeli ne čitaju riječi, čitaju tokene. Token je otprilike tri četvrtine engleske riječi, pa tisuću riječi košta negdje oko tisuću i tristo tokena. Interpunkcija, kod i neengleski tekst tokeniziraju se manje učinkovito, zato stranica koda pojede mnogo više budžeta od stranice proze.
Ograničenje se primjenjuje na cijeli zahtjev, ne na tvoju posljednju poruku. To je detalj koji gotovo svi pogrešno shvaćaju. Nastavak od tri riječi ipak se dodaje na cijeli prethodni razgovor prije nego što se pošalje, pa mala poruka može biti ona koja gurne dugačku nit preko ruba. Definicije alata i povezane integracije naplaćuju se iz istog budžeta, zato onemogućavanje nekorištenih alata može vratiti stvarni prostor.
kako ovo funkcionira u folku
Folk pazi na svoj proračun tokena i sažima prije nego što se potroši, tako da ti ne moraš pratiti. Nema brojača koji treba čuvati i nema točke u kojoj razgovor odbija nastaviti.
često postavljana pitanja
Koliko riječi je jedan token?
Otprilike tri četvrtine riječi na engleskom, pa je 1.000 tokena oko 750 riječi. Kod, interpunkcija i drugi jezici tokeniziraju se manje učinkovito i troše više budžeta po znaku.
Zašto piše maksimalna duljina kad je moja poruka bila kratka?
Jer ograničenje računa cijeli razgovor, a ne tvoju posljednju poruku. Svaka prethodna razmjena šalje se ponovno sa svakim krugom, pa kratka poruka može biti ona koja prebaci ukupni zbroj preko granice.
Uračunavaju li se prenesene datoteke u ograničenje tokena?
Da. Datoteke, slike, definicije alata i sistemske upute troše isti budžet kao i tvoje poruke, zato se nit s nekoliko privitaka puni mnogo brže od one s običnim tekstom.