Giới hạn token là gì?
Giới hạn token là mức trần số token (những mảnh văn bản, mỗi token khoảng ba phần tư một từ) mà một mô hình AI xử lý được trong một yêu cầu, gồm cả lịch sử trò chuyện lẫn câu trả lời của chính nó.
Mô hình không đọc từ, chúng đọc token. Một token khoảng ba phần tư một từ tiếng Anh, nên một nghìn từ tốn khoảng mười ba trăm token. Dấu câu, mã lệnh và văn bản không phải tiếng Anh bị tách token kém hiệu quả hơn, vì vậy một trang mã tốn nhiều ngân sách hơn hẳn một trang văn xuôi.
Giới hạn áp dụng cho cả yêu cầu, không phải cho tin nhắn mới nhất của bạn. Đó là chi tiết hầu như ai cũng hiểu sai. Một tin nhắn tiếp nối ba từ vẫn được gắn vào toàn bộ cuộc trò chuyện trước đó rồi mới gửi đi, nên một tin nhắn nhỏ xíu có thể là cái làm một cuộc trò chuyện dài tràn ra. Định nghĩa công cụ và các tích hợp đã kết nối cũng bị tính vào cùng ngân sách, vì vậy tắt bớt công cụ không dùng có thể lấy lại khoảng trống thật sự.
cách nó hoạt động trong folk
Folk tự theo dõi ngân sách token của mình và nén lại trước khi hết, nên bạn không phải là người theo dõi. Không có bộ đếm nào để canh chừng, và không có lúc nào cuộc trò chuyện từ chối tiếp tục.
câu hỏi thường gặp
Một token là bao nhiêu từ?
Khoảng ba phần tư một từ trong tiếng Anh, nên 1.000 token là khoảng 750 từ. Mã lệnh, dấu câu và các ngôn ngữ khác bị tách token kém hiệu quả hơn và tốn nhiều ngân sách hơn trên mỗi ký tự.
Sao báo đã đạt độ dài tối đa khi tin nhắn của mình ngắn?
Vì giới hạn tính cả cuộc trò chuyện, không phải tin nhắn cuối của bạn. Mọi lượt trao đổi trước đó được gửi lại ở mỗi lượt, nên một tin nhắn ngắn có thể là cái đẩy tổng vượt trần.
Tệp tải lên có được tính vào giới hạn token không?
Có. Tệp, hình ảnh, định nghĩa công cụ và hướng dẫn hệ thống đều tiêu tốn cùng một ngân sách với tin nhắn của bạn, nên một cuộc trò chuyện có nhiều tệp đính kèm đầy nhanh hơn nhiều so với cuộc chỉ có văn bản.