ขีดจำกัดโทเคนคืออะไร
ขีดจำกัดโทเคนคือเพดานจำนวนโทเคน ซึ่งเป็นก้อนข้อความขนาดราวสามในสี่ของคำ ที่โมเดล AI ประมวลผลได้ในคำขอเดียว รวมทั้งประวัติบทสนทนาและคำตอบของตัวเอง
โมเดลไม่ได้อ่านคำ แต่อ่านโทเคน โทเคนหนึ่งประมาณสามในสี่ของคำภาษาอังกฤษ พันคำจึงเสียราวหนึ่งพันสามร้อยโทเคน เครื่องหมายวรรคตอน โค้ด และข้อความที่ไม่ใช่ภาษาอังกฤษแตกโทเคนได้ไม่คุ้ม โค้ดหนึ่งหน้าจึงกินงบมากกว่าข้อความร้อยแก้วหนึ่งหน้ามาก
ขีดจำกัดใช้กับทั้งคำขอ ไม่ใช่แค่ข้อความล่าสุดของคุณ นี่คือรายละเอียดที่เกือบทุกคนเข้าใจผิด ข้อความตามสามคำก็ยังถูกต่อท้ายบทสนทนาก่อนหน้าทั้งหมดก่อนส่ง ข้อความจิ๋วเดียวจึงอาจเป็นตัวที่ทำให้เธรดยาวๆ ล้น นิยามเครื่องมือและการเชื่อมต่อที่ใช้อยู่ก็ถูกหักจากงบเดียวกัน การปิดเครื่องมือที่ไม่ใช้จึงได้พื้นที่คืนจริง
มันทำงานยังไงใน folk
Folk ดูงบโทเคนของตัวเองและย่อก่อนจะหมด คุณไม่ต้องเป็นคนติดตาม ไม่มีตัวนับให้เฝ้า และไม่มีจุดที่บทสนทนาปฏิเสธที่จะไปต่อ
คำถามที่พบบ่อย
หนึ่งโทเคนเท่ากับกี่คำ
ราวสามในสี่ของคำในภาษาอังกฤษ 1,000 โทเคนจึงประมาณ 750 คำ โค้ด เครื่องหมายวรรคตอน และภาษาอื่นแตกโทเคนได้ไม่คุ้มและกินงบต่ออักขระมากกว่า
ทำไมขึ้นว่าเกินความยาวสูงสุดทั้งที่ข้อความฉันสั้น
เพราะขีดจำกัดนับทั้งบทสนทนา ไม่ใช่ข้อความล่าสุดของคุณ ทุกการโต้ตอบก่อนหน้าถูกส่งซ้ำในแต่ละเทิร์น ข้อความสั้นๆ จึงอาจเป็นตัวที่ดันยอดรวมเกินเพดาน
ไฟล์ที่อัปโหลดนับรวมในขีดจำกัดโทเคนไหม
นับ ไฟล์ รูปภาพ นิยามเครื่องมือ และคำสั่งระบบ กินงบเดียวกับข้อความของคุณ เธรดที่มีไฟล์แนบหลายไฟล์จึงเต็มเร็วกว่าเธรดข้อความล้วนมาก