token limit क्या है?
token limit वो सीमा है कि AI model एक request में कितने tokens process कर सकता है, tokens यानी text के टुकड़े जो लगभग एक word के तीन-चौथाई होते हैं, इसमें बातचीत की history और उसका अपना जवाब दोनों शामिल हैं।
models words नहीं पढ़ते, tokens पढ़ते हैं। एक token लगभग एक English word का तीन-चौथाई होता है, तो हज़ार words लगभग तेरह सौ tokens के बराबर होते हैं। punctuation, code, और English के अलावा दूसरी भाषाएँ कम efficiently tokenize होती हैं, इसीलिए code का एक page, सादे text के page से कहीं ज़्यादा budget खा जाता है।
limit पूरी request पर लगती है, सिर्फ़ तुम्हारे latest message पर नहीं। यही बात लगभग सब गलत समझते हैं। तीन words का follow-up भी भेजे जाने से पहले पूरी पिछली बातचीत के साथ जोड़ा जाता है, तो एक छोटा सा message ही लंबे thread को किनारे से पार करा सकता है। tool definitions और connected integrations भी उसी budget से गिने जाते हैं, इसीलिए बेकार tools बंद करने से असली जगह वापस मिल सकती है।
folk में ये कैसे काम करता है
Folk अपने token budget पर खुद नज़र रखता है और खत्म होने से पहले compact कर लेता है, तो तुम्हें इसे track नहीं करना पड़ता। कोई counter नहीं जिसकी निगरानी करनी पड़े, और ऐसा कोई पल नहीं जब बातचीत आगे बढ़ने से मना कर दे।
अक्सर पूछे जाने वाले सवाल
एक token कितने words का होता है?
English में लगभग एक word का तीन-चौथाई, तो 1,000 tokens करीब 750 words होते हैं। code, punctuation, और दूसरी भाषाएँ कम efficiently tokenize होती हैं और हर character पर ज़्यादा budget लेती हैं।
मेरा message छोटा था, फिर भी maximum length क्यों लिखा आ रहा है?
क्योंकि limit पूरी बातचीत गिनती है, सिर्फ़ तुम्हारा आख़िरी message नहीं। हर turn के साथ पिछली सारी बातचीत दोबारा भेजी जाती है, तो एक छोटा message ही total को ऊपरी सीमा से पार करा सकता है।
क्या upload की गई files भी token limit में गिनी जाती हैं?
हाँ। files, images, tool definitions, और system instructions सब उसी budget से लेते हैं जिससे तुम्हारे messages, इसीलिए कई attachments वाला thread सादे text वाले thread से बहुत जल्दी भरता है।