Шта је ограничење токена?
Токен лимит је горња граница броја токена, делова текста од отприлике три четвртине речи, које AI модел може да обради у једном захтеву, укључујући и историју разговора и сопствени одговор.
Модели не читају речи, читају токене. Токен је отприлике три четвртине енглеске речи, тако да хиљаду речи кошта негде око хиљаду триста токена. Интерпункција, код и текст који није на енглеском токенизују се мање ефикасно, зато страница кода поједе много више буџета од странице прозе.
Ограничење важи за цео захтев, не за твоју последњу поруку. То је детаљ који скоро сви погреше. Наставак од три речи се и даље додаје на целу претходну конверзацију пре него што се пошаље, тако да баш ситна порука може да претера дугачак разговор. Дефиниције алата и повезане интеграције се наплаћују из истог буџета, зато искључивање неискоришћених алата може да врати прави простор.
како ово функционише у folk-у
Folk пази на сопствени буџет токена и сажима га пре него што се потроши, тако да ти ниси тај који га прати. Нема бројача који треба да чуваш и нема тачке у којој разговор одбија да се настави.
често постављана питања
Колико речи је један токен?
Отприлике три четвртине речи на енглеском, тако да је 1.000 токена око 750 речи. Код, интерпункција и други језици се токенизују мање ефикасно и троше више буџета по карактеру.
Зашто пише максимална дужина када је моја порука била кратка?
Зато што лимит рачуна цео разговор, а не само твоју последњу поруку. Свака претходна размена се поново шаље у сваком наредном кораку, тако да кратка порука може бити та која пребаци укупан збир преко границе.
Да ли се отпремљени фајлови рачунају у ограничење токена?
Да. Датотеке, слике, дефиниције алата и системска упутства троше исти буџет као твоје поруке, зато се разговор са неколико прилога напуни много брже од оног са обичним текстом.