context window คืออะไร
Context window คือปริมาณข้อความสูงสุดที่โมเดล AI เก็บไว้ในความจำใช้งานได้พร้อมกัน ทุกข้อความ ไฟล์ และนิยามเครื่องมือในบทสนทนานับรวมเข้าไป
ทุกอย่างที่คุณส่งให้โมเดลแย่งพื้นที่จำกัดเดียวกัน ทั้งพรอมต์ระบบ ทุกข้อความในเธรด ไฟล์ที่อัปโหลด นิยามเครื่องมือ และคำตอบที่โมเดลกำลังจะเขียน พื้นที่นั้นคือ context window วัดเป็นโทเคน ไม่ใช่คำ เมื่อบทสนทนาเต็ม ต้องมีบางอย่างหลุด และเกือบทุกครั้งคือเนื้อหาที่เก่าที่สุด
นี่คือเหตุผลที่ผู้ช่วยอ้างข้อความแรกของคุณได้เป๊ะที่เทิร์นห้า แต่ไม่รู้เลยว่าคุณพูดอะไรไปตอนเทิร์นสองร้อย ข้อความยังอยู่บนหน้าจอเพราะอินเทอร์เฟซเก็บไว้ แต่ไม่ได้ป้อนให้โมเดลแล้ว context window ต่างกันมากตามผลิตภัณฑ์และแพ็กเกจ และตัวเลขที่บริษัทโฆษณาคือความจุของโมเดล ไม่ใช่สิ่งที่แอปแชตสำหรับผู้บริโภคโหลดจริงในแต่ละเทิร์น
มันทำงานยังไงใน folk
Folk ย่อเธรดยาวๆ ให้อัตโนมัติ แต่ความต่างที่มีประโยชน์กว่าคือความทรงจำของ folk ไม่ผูกกับเธรด สิ่งที่คุณบอกไว้เดือนก่อนยังอยู่ครั้งหน้าที่คุณส่งข้อความ ไม่ว่าคุณจะใช้ช่องทางไหน
คำถามที่พบบ่อย
จะเกิดอะไรขึ้นเมื่อถึงขีดจำกัด context window
ผู้ช่วยปฏิเสธที่จะคุยต่อในเธรด หรือไม่ก็ทิ้งข้อความเก่าที่สุดเงียบๆ แล้วตอบต่อเหมือนไม่เคยมีมันอยู่ แบบเงียบๆ พบบ่อยกว่าและสังเกตยากกว่ามาก
context window ใหญ่กว่าแปลว่าคำตอบดีกว่าไหม
ไม่เสมอไป ความสนใจของโมเดลกระจายบางลงเมื่อบริบทโตขึ้น คุณภาพเลยมักตกก่อนถึงขีดจำกัดจริงมาก ปรากฏการณ์นี้เรียกว่า context rot และเป็นเหตุผลที่เธรดที่โฟกัสมักชนะเธรดยักษ์เธรดเดียว
การจ่ายค่าสมาชิกเพิ่ม context window ไหม
บางครั้ง แต่น้อยกว่าที่คนคาด แพ็กเกจเสียเงินมักเพิ่มเพดานจำนวนข้อความ ไม่ใช่เพดานต่อบทสนทนา การอัปเกรดจึงมักไม่ช่วยให้เธรดยาวๆ ไม่เต็ม