context window क्या है?
context window वो ज़्यादा से ज़्यादा text है जो AI model एक बार में अपनी working memory में रख सकता है। बातचीत का हर message, file, और tool definition इसमें गिना जाता है।
model को तुम जो कुछ भेजते हो, वो सब एक ही सीमित जगह के लिए लड़ता है: system prompt, thread का हर message, upload की गई files, tool definitions, और वो जवाब जो model लिखने वाला है। यही जगह context window है, जिसे words में नहीं, tokens में नापा जाता है। जब बातचीत इसे भर देती है, तो कुछ हटाना पड़ता है, और लगभग हमेशा सबसे पुरानी चीज़ें हटती हैं।
इसीलिए एक assistant पाँचवें turn पर तुम्हारा पहला message बिल्कुल सही quote कर सकता है और दो सौवें turn तक उसे पता ही नहीं होता कि तुमने क्या कहा था। text अभी भी तुम्हारी screen पर है क्योंकि interface उसे store करता है, पर अब वो model को नहीं भेजा जा रहा। context windows product और plan के हिसाब से बहुत अलग होती हैं, और company जो number बताती है वो model की क्षमता है, ज़रूरी नहीं कि consumer chat app हर turn पर सच में उतना load करे।
folk में ये कैसे काम करता है
Folk लंबे threads को अपने आप compact करता है, पर ज़्यादा काम का फ़र्क ये है कि इसकी memory किसी एक thread तक सीमित नहीं है। पिछले महीने तुमने जो बताया था, वो अगली बार text करने पर भी available है, चाहे तुम जिस भी जगह से इस्तेमाल कर रहे हो।
अक्सर पूछे जाने वाले सवाल
context window की limit तक पहुँचने पर क्या होता है?
या तो assistant thread आगे बढ़ाने से मना कर देता है, या चुपचाप सबसे पुराने messages हटा देता है और ऐसे जवाब देता रहता है जैसे वो कभी थे ही नहीं। चुपचाप वाला तरीका ज़्यादा आम है और notice करना बहुत मुश्किल।
क्या बड़ी context window का मतलब बेहतर जवाब है?
अपने आप नहीं। context बढ़ने के साथ attention पतला फैलता जाता है, तो quality अक्सर hard limit से काफ़ी पहले गिरने लगती है। इसे context rot कहते हैं, और इसीलिए एक बहुत बड़े thread के मुकाबले focused threads आमतौर पर बेहतर रहते हैं।
क्या subscription लेने से context window बढ़ती है?
कभी-कभी, पर लोगों की उम्मीद से कम। paid plans आमतौर पर message rate की limit बढ़ाते हैं, हर बातचीत की ऊपरी सीमा नहीं, तो upgrade करने से अक्सर लंबा thread भरना नहीं रुकता।