Kaj je omejitev tokenov?
Omejitev žetonov je zgornja meja, koliko žetonov - kosov besedila, približno tri četrtine besede vsak - lahko AI model obdela v eni zahtevi, vključno z zgodovino pogovora in svojim odgovorom.
Modeli ne berejo besed, berejo žetone. Žeton je približno tri četrtine angleške besede, tako da tisoč besed stane okoli tisoč tristo žetonov. Ločila, koda in neangleško besedilo se tokenizirajo manj učinkovito, zato stran kode požre veliko več proračuna kot stran proze.
Omejitev velja za celotno zahtevo, ne za tvoje zadnje sporočilo. To je podrobnost, ki jo skoraj vsi zgrešijo. Nadaljevanje s tremi besedami se pred pošiljanjem še vedno pripne k celotnemu prejšnjemu pogovoru, zato je lahko drobno sporočilo tisto, ki dolgo nit potisne čez rob. Definicije orodij in povezane integracije se obračunajo iz istega proračuna, zato lahko z izklopom neuporabljenih orodij pridobiš nazaj precej prostora.
kako to deluje v folku
Folk spremlja svoj proračun tokenov in ga stisne, preden zmanjka, tako da nisi ti tisti, ki mu sledi. Ni števca, ki bi ga moral paziti, in ni točke, ko pogovor noče več teči.
pogosta vprašanja
Koliko besed je en token?
Približno tri četrtine besede v angleščini, tako da je 1.000 žetonov približno 750 besed. Koda, ločila in drugi jeziki se tokenizirajo manj učinkovito in porabijo več proračuna na znak.
Zakaj piše največja dolžina, ko je bilo moje sporočilo kratko?
Ker omejitev šteje celoten pogovor, ne samo tvojega zadnjega sporočila. Vsaka prejšnja izmenjava se ponovno pošlje z vsakim obratom, zato je lahko kratko sporočilo tisto, ki potisne skupno vsoto čez mejo.
Ali naložene datoteke štejejo k omejitvi tokenov?
Da. Datoteke, slike, definicije orodij in sistemska navodila porabijo enak proračun kot tvoja sporočila, zato se nit z več priponkami napolni veliko hitreje kot tista z navadnim besedilom.