Mikä on token-raja?
Token-raja on yläraja sille, kuinka monta tokenia (tekstinpalasta, jotka ovat suunnilleen kolme neljäsosaa sanasta) tekoälymalli voi käsitellä yhdessä pyynnössä, mukaan lukien sekä keskusteluhistoria että sen oma vastaus.
Mallit eivät lue sanoja, ne lukevat tokeneita. Token on suunnilleen kolme neljäsosaa englannin kielen sanasta, joten tuhat sanaa maksaa noin tuhatkolmesataa tokenia. Välimerkit, koodi ja muun kuin englannin kielinen teksti tokenisoituvat tehottomammin, minkä takia sivu koodia syö paljon enemmän budjettia kuin sivu proosaa.
Raja koskee koko pyyntöä, ei vain sun viimeisintä viestiä. Se on yksityiskohta, jonka melkein kaikki ymmärtävät väärin. Kolmen sanan jatkoviesti liitetään silti koko edeltävään keskusteluun ennen kuin se lähetetään, joten pieni viesti voi olla se, joka kaataa pitkän ketjun yli laidan. Työkalujen määritelmät ja yhdistetyt integraatiot veloitetaan samasta budjetista, minkä takia käyttämättömien työkalujen poistaminen voi vapauttaa oikeasti tilaa.
miten tämä toimii folkissa
Folk seuraa omaa tokenbudjettiaan ja tiivistää ennen kuin se loppuu, joten sun ei tarvitse seurata sitä. Ei ole laskuria, jota vahtia, eikä pistettä, jossa keskustelu kieltäytyy jatkumasta.
usein kysytyt
Montako sanaa on yksi token?
Karkeasti noin kolme neljäsosaa sanasta englanniksi, joten 1 000 tokenia on noin 750 sanaa. Koodi, välimerkit ja muut kielet tokenisoituvat tehottomammin ja kuluttavat enemmän budjettia merkkiä kohden.
Miksi se sanoo enimmäispituus, vaikka mun viesti oli lyhyt?
Koska raja laskee koko keskustelun, ei vain sun viimeistä viestiä. Jokainen aiempi viesti lähetetään uudelleen joka kierroksella, joten lyhyt viesti voi olla se, joka työntää kokonaismäärän yli rajan.
Lasketaanko ladatut tiedostot token-rajaan?
Kyllä. Tiedostot, kuvat, työkalujen määritelmät ja järjestelmäohjeet kuluttavat samaa budjettia kuin sun viestit, minkä vuoksi ketju, jossa on useita liitteitä, täyttyy paljon nopeammin kuin pelkkä tekstiketju.