トークン上限とは?
トークン上限は、AIモデルが1回のリクエストで処理できるトークンの数の上限。トークンはテキストのかたまりで、英語だと1単語の4分の3くらい。会話の履歴もモデル自身の返事も、両方カウントされるよ。
モデルが読んでるのは単語じゃなくてトークン。トークンは英語の1単語の4分の3くらいだから、1000単語ならだいたい1300トークンくらいになる。記号、コード、英語以外のテキストはトークンに分けるときの効率が悪いから、1ページのコードは1ページの文章よりずっと多く枠を使っちゃうんだ。
上限がかかるのはリクエスト全体で、最新のメッセージだけじゃない。ほぼ全員がここを勘違いしてる。3語だけの追加メッセージでも、送る前にそれまでの会話全部にくっつけられるから、ちょっとしたメッセージがきっかけで長いスレッドが上限をこえることもある。ツールの定義や連携しているサービスも同じ枠から差し引かれるから、使ってないツールをオフにすると、ちゃんと余裕を取り戻せるんだ。
folkでのしくみ
folkは自分のトークンの残りを見張って、なくなる前に圧縮するから、自分で管理しなくていい。気にしなきゃいけないカウンターもないし、会話を続けられなくなるタイミングもないよ。
よくある質問
1トークンは何単語くらい?
英語だとだいたい1単語の4分の3。だから1,000トークンは約750単語。コード、記号、ほかの言語はトークンに分けるときの効率が悪くて、1文字あたりで枠を多く使うよ。
メッセージは短かったのに、なんで「最大の長さ」って出るの?
上限は最後のメッセージじゃなく、会話全体でカウントされるから。毎回それまでのやりとりが全部送り直されるから、短いメッセージがきっかけで合計が上限をこえることもあるんだ。
アップロードしたファイルもトークン上限にカウントされる?
されるよ。ファイル、画像、ツールの定義、システムの指示も、メッセージと同じ枠を使う。だから添付がいくつかあるスレッドは、テキストだけのスレッドよりずっと早くいっぱいになるんだ。