Context rot là gì?
Context rot là việc chất lượng phản hồi của AI giảm đi khi cuộc trò chuyện dài ra, do sự chú ý của mô hình bị trải trên nhiều token hơn cho đến khi các hướng dẫn trước đó mất sức ảnh hưởng.
Context rot không giống việc hết chỗ. Nó xuất hiện từ rất lâu trước giới hạn cứng, vì mô hình gán trọng số cho token gần cao hơn token xa. Những hướng dẫn bạn đặt ở tin nhắn đầu tiên về mặt kỹ thuật vẫn nằm trong ngữ cảnh nhưng bị gán độ nổi bật thấp, nên mô hình đọc chúng mà thực tế lại phớt lờ.
Các dấu hiệu rất dễ nhận ra: một quy tắc định dạng bạn đặt từ đầu lặng lẽ không còn được theo, một ràng buộc bạn đặt bị vi phạm, hoặc trợ lý hỏi lại điều bạn đã trả lời. Anthropic mô tả hiệu ứng này trong hướng dẫn của họ về các phiên Claude Code dài, nêu rằng hiệu suất giảm khi ngữ cảnh lớn lên vì sự chú ý bị trải trên nhiều token hơn và nội dung cũ bắt đầu gây xao nhãng khỏi việc hiện tại.
Các biện pháp thực tế đều là các cách neo lại. Nhắc lại các hướng dẫn cốt lõi mỗi mười lượt trao đổi hoặc hơn, đặt các ràng buộc quan trọng gần cuối tin nhắn nơi chúng có trọng lượng hơn, và tách các việc thật sự không liên quan sang cuộc trò chuyện riêng thay vì dồn vào một cuộc.
cách nó hoạt động trong folk
Nén lại giúp cả với rot lẫn với dung lượng, vì tóm tắt các lượt cũ loại bỏ phần nhiễu đang làm loãng sự chú ý. Folk bảo vệ các lượt mới nhất và khung ban đầu, rồi nén những gì ở giữa.
câu hỏi thường gặp
Context rot có giống việc chạm giới hạn ngữ cảnh không?
Không. Chạm giới hạn là ranh giới cứng nơi nội dung bị bỏ. Context rot là sự giảm chất lượng từ từ, bắt đầu từ rất lâu trước giới hạn, do sự chú ý loãng ra trên một cuộc trò chuyện lớn hơn.
Làm sao sửa một AI đã ngừng làm theo hướng dẫn của mình?
Neo lại. Dán một bản tóm tắt ba đến năm dòng về các quyết định và ràng buộc chính ở đầu tin nhắn tiếp theo, và nhắc lại mọi quy tắc định dạng bạn đã đặt trước đó. Nếu chủ đề đã thật sự đổi, hãy bắt đầu một cuộc trò chuyện mới.
Một cuộc trò chuyện AI dài bao nhiêu là quá dài?
Không có con số cố định, nhưng chất lượng thường bắt đầu tụt khoảng sau hai mươi đến ba mươi lượt trao đổi đáng kể. Một quy tắc tốt hơn là theo chủ đề: khi bạn chuyển sang việc thật sự mới, hãy mở cuộc trò chuyện mới.