什么是 token 上限?
Token 上限是 AI 模型单次请求能处理的 token 数量上限。token 是一小段文本,每个大约相当于四分之三个英文单词,对话历史和模型自己的回复都算在内。
模型读的不是单词,而是 token。一个 token 大约是四分之三个英文单词,所以一千个英文单词大概要一千三百个 token。标点、代码和非英文文本的分词效率更低,这就是为什么一页代码比一页普通文字占用的额度多得多。
上限针对的是整个请求,而不是你最新的那条消息。这是几乎所有人都会搞错的细节。一条三个词的追问,发送前也会被接在前面整段对话后面,所以一条小小的消息就可能成为压垮长对话的最后一根稻草。工具定义和已连接的集成也占用同一份额度,这就是为什么关掉不用的工具能腾出不少空间。
常见问题
一个 token 相当于多少个词?
在英文里大约是四分之三个单词,所以 1,000 个 token 大约是 750 个英文单词。代码、标点和其他语言的分词效率更低,每个字符会消耗更多额度。
我的消息明明很短,为什么提示超出最大长度?
因为上限计算的是整段对话,而不是你最后一条消息。之前的每一轮都会随着每次回复重新发送,所以一条短消息也可能让总量超过上限。
上传的文件也算进 token 上限吗?
算。文件、图片、工具定义和系统指令都和你的消息占用同一份额度,这就是为什么带几个附件的对话比纯文字对话满得快多了。