Token limiti nədir?
Token limiti bir AI modelinin tək sorğuda emal edə biləcəyi token sayının yuxarı həddidir, hər biri təxminən bir sözün dörddə üçü olan mətn parçaları, həm söhbət tarixçəsi, həm də öz cavabı daxil olmaqla.
Modellər sözləri oxumur, tokenləri oxuyur. Bir token təxminən ingilis sözünün dörddə üçüdür, yəni min söz təxminən min üç yüz tokenə başa gəlir. Durğu işarələri, kod və ingilis dilindən olmayan mətn daha az səmərəli tokenləşir, buna görə də bir səhifə kod bir səhifə nəsrdən qat-qat çox büdcə yeyir.
Limit bütün sorğuya aiddir, son mesajına deyil. Bu, demək olar ki, hamının səhv başa düşdüyü detaldır. Üç sözlük davam mesajı göndərilməzdən əvvəl bütün əvvəlki söhbətə əlavə olunur, buna görə də kiçik bir mesaj uzun bir mövzunu həddindən artıq yükləyə bilər. Alət tərifləri və qoşulmuş inteqrasiyalar eyni büdcədən tutulur, buna görə də istifadə olunmayan alətləri söndürmək real yer qazandıra bilər.
bu folk-da necə işləyir
Folk öz token büdcəsini izləyir və tükənməzdən əvvəl sıxlaşdırır, yəni onu izləyən sən deyilsən. Nə baxmalı sayğac var, nə də söhbətin davam etməkdən imtina etdiyi bir nöqtə.
tez-tez soruşulanlar
Bir token neçə sözdür?
İngilis dilində təxminən bir sözün dörddə üçü, yəni 1,000 token təxminən 750 sözdür. Kod, durğu işarələri və digər dillər daha az səmərəli tokenləşir və hər simvol üçün büdcədən daha çox xərcləyir.
Niyə mesajım qısa olanda maksimum uzunluq deyir?
Çünki limit son mesajını yox, bütün söhbəti sayır. Hər dəfə əvvəlki bütün yazışmalar yenidən göndərilir, buna görə qısa bir mesaj da cəmi həddən artıra bilər.
Yüklənmiş fayllar token limitinə daxildirmi?
Bəli. Fayllar, şəkillər, alət təyinatları və sistem təlimatları da mesajların kimi eyni büdcəni xərcləyir, buna görə bir neçə əlavəsi olan söhbət adi mətnli söhbətdən daha tez dolur.