コンテキストウィンドウとは?
コンテキストウィンドウは、AIモデルが一度に作業用の記憶にのせておけるテキストの最大量。会話の中のメッセージ、ファイル、ツールの定義が全部これにカウントされるよ。
モデルに送るものは全部、限られた同じスペースを取り合ってる。システムプロンプト、スレッドの全メッセージ、アップロードしたファイル、ツールの定義、そしてモデルがこれから書く答え。そのスペースがコンテキストウィンドウで、単語じゃなくトークンで数える。会話でいっぱいになったら何かを捨てなきゃいけなくて、ほとんどの場合それはいちばん古い内容なんだ。
だからアシスタントは、5往復目では最初のメッセージを完璧に引用できるのに、200往復目にはこっちが何を言ったかまったくわからなくなる。画面にはまだテキストが残ってるけど、それはアプリが保存してるだけで、もうモデルには渡されてないんだ。コンテキストウィンドウの大きさはサービスやプランによってバラバラだし、会社がアピールしてる数字はモデルの容量で、一般向けのチャットアプリが毎回実際に読みこむ量とはかぎらないよ。
folkでのしくみ
folkは長いスレッドを自動で圧縮するけど、もっと役立つちがいは、記憶がひとつのスレッドに閉じてないこと。先月話したことも、次にメッセージしたときにちゃんと使える。どのアプリから話しかけてもね。
よくある質問
コンテキストウィンドウの上限に達するとどうなるの?
アシスタントがそのスレッドを続けるのを断るか、いちばん古いメッセージをこっそり捨てて、最初からなかったみたいに答え続けるか。こっそり捨てるほうがよくあるパターンで、気づくのもずっと難しいんだ。
コンテキストウィンドウが大きいほど、答えもよくなる?
そうとはかぎらないよ。コンテキストが増えるほど注意が分散するから、上限に達するずっと前から質が落ちることが多い。これはコンテキストロットって呼ばれてて、巨大なスレッドひとつより、テーマをしぼったスレッドのほうがたいていうまくいく理由なんだ。
サブスクにお金を払えば、コンテキストウィンドウは大きくなる?
なることもあるけど、みんなが思ってるほどじゃない。有料プランで上がるのはたいていメッセージ数の上限で、会話ごとの上限じゃないから、アップグレードしても長いスレッドがいっぱいになるのは止められないことが多いよ。