Kas ir tokenu ierobežojums?
Tokenu limits ir maksimālais skaits, cik tokenus - teksta gabalus, kas ir aptuveni trīs ceturtdaļas vārda katrs - AI modelis var apstrādāt vienā pieprasījumā, ieskaitot gan sarunas vēsturi, gan savu atbildi.
Modeļi nelasa vārdus, tie lasa tokenus. Tokens ir aptuveni trīs ceturtdaļas angļu vārda, tāpēc tūkstotis vārdu maksā apmēram trīspadsmit simtus tokenu. Pieturzīmes, kods un teksts, kas nav angļu valodā, tiek tokenizēti mazāk efektīvi, tāpēc koda lapa apēd daudz lielāku budžetu nekā prozas lapa.
Limits attiecas uz visu pieprasījumu, nevis tikai uz tavu jaunāko ziņu. Šo detaļu gandrīz visi saprot nepareizi. Trīs vārdu papildziņa joprojām tiek pievienota visai iepriekšējai sarunai pirms nosūtīšanas, tāpēc maza ziņa var būt tā, kas nogāž garu sarunu pāri malai. Rīku definīcijas un pievienotās integrācijas tiek ieskaitītas tajā pašā budžetā, tāpēc, atslēdzot neizmantotos rīkus, var atgūt reālu vietu.
kā tas darbojas folk
Folk seko līdzi savam tokenu budžetam un sakompaktē pirms tas beidzas, tāpēc neesi tas, kam tas jāseko. Nav skaitītāja, kas jāpieskata, un nav brīža, kad saruna atsakās turpināties.
biežāk uzdotie
Cik vārdu ir vienā tokenā?
Apmēram trīs ceturtdaļas vārda angļu valodā, tāpēc 1000 marķieri ir aptuveni 750 vārdi. Kods, pieturzīmes un citas valodas tokenizējas mazāk efektīvi un patērē vairāk budžeta uz rakstzīmi.
Kāpēc tas saka maksimālo garumu, kad mans ziņojums bija īss?
Tāpēc, ka limits skaita visu sarunu, nevis tikai tavu pēdējo ziņojumu. Katra iepriekšējā saruna tiek nosūtīta no jauna ar katru gājienu, tāpēc īss ziņojums var būt tas, kas kopējo apjomu pārvelk pāri robežai.
Vai augšupielādētie faili ieskaitās tokenu limitā?
Jā. Faili, attēli, rīku definīcijas un sistēmas instrukcijas patērē to pašu budžetu kā tavi ziņojumi, tāpēc pavediens ar vairākiem pielikumiem piepildās daudz ātrāk nekā tāds, kur ir tikai teksts.