コンテキストロットとは?
コンテキストロットは、会話が長くなるにつれてAIの返事の質が落ちていくこと。モデルの注意がたくさんのトークンに分散して、前のほうの指示の影響力がなくなっていくのが原因だよ。
コンテキストロットは、スペースが足りなくなるのとはちがう。ハードな上限よりずっと前から始まるんだ。モデルは遠いトークンより最近のトークンを重く見るから。最初のメッセージで決めた指示は、一応まだコンテキストの中にあるけど重要度が低く扱われて、モデルは読んではいるのに実質スルーしちゃうんだ。
症状はわかりやすいよ。最初に決めたフォーマットのルールがいつの間にか守られなくなる、決めた制約が破られる、もう答えたことをアシスタントがまた聞いてくる。Anthropicも長いClaude Codeセッションについての自社ガイドでこの現象に触れてて、コンテキストが増えると注意がたくさんのトークンに分散して、古い内容が今のタスクの邪魔をしはじめるからパフォーマンスが落ちる、と説明してるよ。
実際の対策は、どれも「前提をセットし直す」ことだよ。10往復くらいごとに大事な指示を言い直す、重要な制約はより重く扱われるメッセージの最後のほうに書く、本当に関係ないタスクはひとつのスレッドに積み上げずに別の会話に分ける。
folkでのしくみ
圧縮は容量だけじゃなく、コンテキストロットにも効く。古いやりとりを要約すると、注意を薄めてたノイズが消えるから。folkは最新のやりとりと最初の前提を守って、その間にあるものを圧縮するよ。
よくある質問
コンテキストロットとコンテキストの上限に達するのは同じこと?
ちがうよ。上限に達するのは、内容が捨てられるハードな境界線。コンテキストロットは上限よりずっと前から始まるゆるやかな質の低下で、会話が大きくなって注意が薄まるのが原因なんだ。
指示を守らなくなったAIはどう直せばいい?
前提をもう一度伝えよう。次のメッセージの最初に、大事な決定事項と制約を3〜5行でまとめて貼って、前に決めたフォーマットのルールも言い直す。話題が本当に変わったなら、新しい会話を始めたほうがいいよ。
AIとの会話、どれくらい長いと長すぎ?
決まった数はないけど、中身のあるやりとりが20〜30往復をこえたあたりから質が落ちはじめることが多い。もっといいルールは話題で決めること。本当に新しいタスクに切り替えるときは、新しいスレッドを始めよう。