Kas yra žetonų limitas?
Tokenų limitas yra didžiausias kiekis tokenų (teksto dalių, kurių kiekviena yra maždaug trys ketvirtadaliai žodžio), kuriuos AI modelis gali apdoroti vienoje užklausoje, įskaitant ir pokalbio istoriją, ir jo paties atsakymą.
Modeliai neskaito žodžių, jie skaito žetonus. Žetonas yra maždaug trys ketvirtadaliai angliško žodžio, taigi tūkstantis žodžių kainuoja apie tūkstantį trys šimtus žetonų. Skyrybos ženklai, kodas ir ne angliškas tekstas suskaidomi mažiau efektyviai, todėl kodo puslapis suvalgo daug daugiau biudžeto nei prozos puslapis.
Limitas taikomas visai užklausai, ne vien naujausiai žinutei. Šią detalę beveik visi supranta klaidingai. Prieš siunčiant net trijų žodžių klausimas pridedamas prie viso ankstesnio pokalbio, todėl ir trumpa žinutė gali viršyti ilgo pokalbio limitą. Į tą patį limitą įskaičiuojami įrankių aprašai ir prijungtos integracijos, todėl išjungus nereikalingus įrankius lieka daugiau vietos pokalbiui.
kaip tai veikia folk
Folk stebi savo paties tokenų biudžetą ir suspaudžia, kol jis nesibaigė, tad tu neprivalai jo sekti. Nėra skaitiklio, kurį reikėtų prižiūrėti, ir nėra taško, kai pokalbis atsisako tęstis.
dažnai užduodami klausimai
Kiek žodžių yra vienas tokenas?
Maždaug trys ketvirtadaliai žodžio anglų kalboje, taigi 1 000 žetonų yra apie 750 žodžių. Kodas, skyryba ir kitos kalbos suskaidomi į žetonus mažiau efektyviai ir sunaudoja daugiau biudžeto vienam simboliui.
Kodėl rašo, kad viršytas maksimalus ilgis, kai mano žinutė buvo trumpa?
Nes limitas skaičiuoja visą pokalbį, o ne tavo paskutinę žinutę. Kiekvienas ankstesnis pasikeitimas yra išsiunčiamas iš naujo su kiekvienu ėjimu, todėl trumpa žinutė gali būti ta, kuri perkelia bendrą sumą per lubas.
Ar įkelti failai įskaičiuojami į tokenų limitą?
Taip. Failai, vaizdai, įrankių aprašymai ir sistemos instrukcijos visi naudoja tą patį biudžetą kaip ir tavo žinutės, todėl gija su keliais priedais užsipildo daug greičiau nei paprasto teksto.