Какво е лимит на токени?
Лимитът на токени е ограничението за това колко токена, парчета текст, приблизително три четвърти от дума всяко, може да обработи един AI модел в една заявка, включително историята на разговора и собствения му отговор.
Моделите не четат думи, а токени. Един токен е приблизително три четвърти от английска дума, така че хиляда думи струват около хиляда и триста токена. Пунктуацията, кодът и текстът на език, различен от английски, се токенизират по-неефективно, затова една страница код изяжда много повече бюджет от една страница проза.
Лимитът важи за цялата заявка, не само за последното ти съобщение. Това е детайлът, който почти всички бъркат. Едно допълнение от три думи пак се добавя към целия предходен разговор, преди да бъде изпратено, така че едно мъничко съобщение може да е това, което претоварва дълга нишка. Дефинициите на инструменти и свързаните интеграции се таксуват към същия бюджет, затова изключването на неизползвани инструменти може да освободи истинско място.
как работи това във folk
Folk следи собствения си бюджет от токени и се съкращава, преди да свърши, така че не ти трябва да го следиш. Няма брояч, който да гледаш, и няма момент, в който разговорът отказва да продължи.
често задавани
Колко думи има в един токен?
Грубо три четвърти от дума на английски, така че 1000 токена са около 750 думи. Кодът, пунктуацията и другите езици се токенизират по-малко ефективно и консумират повече от бюджета на символ.
Защо казва максимална дължина, когато съобщението ми беше кратко?
Защото лимитът брои целия разговор, не последното ти съобщение. Всеки предишен обмен се изпраща отново с всеки ход, така че кратко съобщение може да е това, което прехвърля общата сума над тавана.
Броят ли се качените файлове към лимита за токени?
Да. Файловете, изображенията, дефинициите на инструменти и системните инструкции изразходват същия бюджет като съобщенията ти, затова нишка с няколко прикачени файла се запълва много по-бързо от такава само с текст.