টোকেন সীমা কী?
টোকেন সীমা হলো একটা অনুরোধে AI মডেল সর্বোচ্চ কত টোকেন - মোটামুটি প্রতিটা শব্দের তিন-চতুর্থাংশের লেখার টুকরো - প্রসেস করতে পারে তার ঊর্ধ্বসীমা, কথোপকথনের ইতিহাস আর তার নিজের উত্তর দুটো মিলিয়ে।
মডেল শব্দ পড়ে না, টোকেন পড়ে। একটা টোকেন ইংরেজি শব্দের মোটামুটি তিন-চতুর্থাংশ, তাই এক হাজার শব্দে প্রায় তেরোশো টোকেন লাগে। যতিচিহ্ন, কোড আর ইংরেজি ছাড়া অন্য ভাষা কম দক্ষভাবে টোকেনে ভাঙে, তাই এক পাতা কোড এক পাতা গদ্যের চেয়ে অনেক বেশি বরাদ্দ খায়।
সীমাটা পুরো অনুরোধের উপর খাটে, তোমার শেষ মেসেজের উপর না। প্রায় সবাই এই খুঁটিনাটিটাতেই ভুল করে। তিন শব্দের একটা ফলো-আপও পাঠানোর আগে আগের পুরো কথোপকথনের সাথে জুড়ে যায়, তাই একটা ছোট্ট মেসেজই লম্বা থ্রেডকে কিনারা পার করিয়ে দিতে পারে। টুলের সংজ্ঞা আর কানেক্ট করা ইন্টিগ্রেশনও একই বরাদ্দ থেকে কাটে, তাই অব্যবহৃত টুল বন্ধ করলে আসল জায়গা ফিরে পাওয়া যায়।
folk-এ এটা কীভাবে কাজ করে
Folk নিজের টোকেন বরাদ্দের উপর নজর রাখে আর ফুরানোর আগেই ছোট করে নেয়, তাই হিসাব রাখার দায় তোমার না। কোনো কাউন্টার সামলাতে হয় না, আর এমন কোনো মুহূর্ত নেই যখন কথোপকথন চলতে অস্বীকার করে।
প্রায়ই জিজ্ঞেস করা
একটা টোকেন কত শব্দ?
ইংরেজিতে মোটামুটি শব্দের তিন-চতুর্থাংশ, তাই ১,০০০ টোকেন প্রায় ৭৫০ শব্দ। কোড, যতিচিহ্ন আর অন্য ভাষা কম দক্ষভাবে টোকেনে ভাঙে এবং প্রতি অক্ষরে বেশি বরাদ্দ খায়।
আমার মেসেজ ছোট হলেও কেন বলছে সর্বোচ্চ দৈর্ঘ্য?
কারণ সীমাটা পুরো কথোপকথন গোনে, তোমার শেষ মেসেজ না। প্রতিবার আগের সব আদান-প্রদান আবার পাঠানো হয়, তাই একটা ছোট মেসেজই মোট সংখ্যাকে সীমার উপরে ঠেলে দিতে পারে।
আপলোড করা ফাইল কি টোকেন সীমায় ধরা হয়?
হ্যাঁ। ফাইল, ছবি, টুলের সংজ্ঞা আর সিস্টেম নির্দেশ সবই তোমার মেসেজের মতো একই বরাদ্দ খায়, তাই কয়েকটা অ্যাটাচমেন্টসহ থ্রেড সাধারণ লেখার থ্রেডের চেয়ে অনেক দ্রুত ভরে যায়।