Cửa sổ ngữ cảnh là gì?
Cửa sổ ngữ cảnh là lượng văn bản tối đa mà một mô hình AI có thể giữ trong bộ nhớ làm việc cùng lúc. Mọi tin nhắn, tệp và định nghĩa công cụ trong cuộc trò chuyện đều được tính vào đó.
Mọi thứ bạn gửi cho mô hình cùng tranh một khoảng trống hữu hạn: lời nhắc hệ thống, mọi tin nhắn trong cuộc trò chuyện, tệp tải lên, định nghĩa công cụ, và câu trả lời mô hình sắp viết. Khoảng trống đó là cửa sổ ngữ cảnh, đo bằng token chứ không phải bằng từ. Khi một cuộc trò chuyện làm đầy nó, phải bỏ bớt thứ gì đó, và hầu như luôn là nội dung cũ nhất.
Đây là lý do một trợ lý có thể trích dẫn hoàn hảo tin nhắn đầu tiên của bạn ở lượt thứ năm mà không biết bạn nói gì ở lượt thứ hai trăm. Văn bản vẫn còn trên màn hình vì giao diện lưu lại, nhưng nó không còn được đưa cho mô hình nữa. Cửa sổ ngữ cảnh khác nhau rất nhiều theo sản phẩm và gói, và con số một công ty quảng cáo là dung lượng của mô hình, chưa chắc là thứ app chat dành cho người dùng thật sự nạp ở mỗi lượt.
cách nó hoạt động trong folk
Folk tự động nén các cuộc trò chuyện dài, nhưng điểm khác hữu ích hơn là trí nhớ của nó không bị gói trong một cuộc trò chuyện. Những gì bạn nói với nó tháng trước vẫn còn đó lần sau bạn nhắn, trên bất kỳ nền tảng nào bạn đang dùng.
câu hỏi thường gặp
Điều gì xảy ra khi chạm giới hạn cửa sổ ngữ cảnh?
Hoặc trợ lý từ chối tiếp tục cuộc trò chuyện, hoặc nó âm thầm bỏ các tin nhắn cũ nhất và tiếp tục trả lời như thể chúng chưa từng có. Kiểu âm thầm phổ biến hơn và khó nhận ra hơn nhiều.
Cửa sổ ngữ cảnh lớn hơn có nghĩa là câu trả lời tốt hơn không?
Không tự động. Sự chú ý bị loãng dần khi ngữ cảnh dài ra, nên chất lượng thường giảm từ rất lâu trước khi chạm giới hạn cứng. Hiệu ứng này gọi là context rot, và đó là lý do các cuộc trò chuyện tập trung thường tốt hơn một cuộc khổng lồ.
Trả tiền đăng ký có làm cửa sổ ngữ cảnh lớn hơn không?
Đôi khi, nhưng ít hơn mọi người nghĩ. Các gói trả phí thường nâng giới hạn số tin nhắn hơn là trần của mỗi cuộc trò chuyện, nên nâng cấp thường không ngăn được một cuộc trò chuyện dài bị đầy.