什么是上下文窗口?
上下文窗口是 AI 模型一次能放在工作记忆里的最大文本量,对话里的每条消息、每个文件和每个工具定义都算在内。
你发给模型的所有东西都在争抢同一块有限的空间:系统提示、对话里的每条消息、上传的文件、工具定义,还有模型马上要写的回答。这块空间就是上下文窗口,用 token 而不是字数来衡量。对话把它填满时,总得有东西被挤掉,而被挤掉的几乎总是最早的内容。
这就是为什么助理在第五轮还能一字不差地引用你的第一条消息,到第两百轮却完全不知道你说过什么。那些文字还在你的屏幕上,是因为界面把它存了下来,但它已经不再被送进模型了。不同产品和套餐的上下文窗口差别很大,公司宣传的数字是模型的容量,不一定是面向用户的聊天 app 每一轮实际加载的量。
常见问题
达到上下文窗口上限会怎样?
要么助理拒绝继续这个对话,要么它悄悄丢掉最早的消息,继续回答,就好像那些消息从来不存在一样。悄悄丢掉的情况更常见,也更难察觉。
上下文窗口越大,答案就越好吗?
不一定。上下文越长,注意力就越分散,所以质量往往在远没到硬性上限时就开始下降。这种现象叫上下文腐化,这也是为什么专注的对话通常比一个超长的对话效果更好。
付费订阅能增加上下文窗口吗?
有时可以,但没有大家想的那么多。付费套餐通常提高的是消息频率上限,而不是单个对话的上限,所以升级往往也挡不住长对话被填满。