長コンテキストの実際：注意機構のスケーリングと検索補助の境界

コンテキスト長の拡大は、近年の言語モデルにおける主要な競争軸のひとつになっている。数万から数十万トークンを一度に扱えるという数字は印象的だが、「入力できる量」と「有効に活用できる量」は同じではない。本稿では、注意機構のスケーリングがもたらす二つの制約——計算コストと注意の希薄化——を整理し、どの時点で検索補助（RAG）への切り替えが合理的になるのかを検討する。

計算コストは長さの二乗で効いてくる

標準的な自己注意機構では、各トークンが他のすべてのトークンとの関連度を計算する。この設計上、計算量とメモリはコンテキスト長のおおむね二乗に比例して増える。長さを2倍にすれば、素朴な実装では計算量は4倍近くになる。この二乗の壁が、長コンテキストを扱ううえでの基本的な制約である。

この制約を緩める工夫は複数ある。メモリアクセスを最適化して実効速度を上げる手法や、注意の範囲を局所に限定する疎な注意、あるいは位置符号化を工夫して学習時より長い系列へ外挿する方法などが提案されてきた。回転位置埋め込み（RoPE）のような相対位置の表現は、系列長の拡張と相性がよいことが知られている。ただし、これらの多くは近似であり、遠く離れたトークン間の関係を犠牲にすることで速度を得ている。もっとも、その犠牲が問題になるかどうかは、扱うタスクが本当に全体を見渡す必要があるのかに依存する。

注意の希薄化：長く入れるほど薄まる

計算コストとは別に、より本質的な問題がある。トークン数が増えると、一つひとつのトークンに配分される注意の重みは相対的に薄まる。文脈の中央付近に置かれた重要な情報が、冒頭や末尾の情報に比べて拾われにくくなる傾向は、複数の研究で観察されている。長い文書の「真ん中で迷子になる」現象は、単なる実装の粗さではなく、注意の総量が有限であることに由来する構造的な性質である。

この点は、コンテキスト長のベンチマーク数値を読むうえで重要な含意を持つ。「20万トークンまで対応」という仕様は、その全域にわたって均質な精度を保証するものではない。実務では、入力の末尾に近い指示ほど強く効き、中盤に埋もれた制約は無視されやすい、といった偏りを前提に設計する必要がある。MoE の疎活性化がメモリ特性を変えるのと同様に、長コンテキストもまた、公称スペックと実効性能のあいだにずれを生む。

検索補助（RAG）との境界はどこにあるか

長コンテキストと RAG は、しばしば対立する選択肢として語られる。前者は関連しそうな情報をすべて入力に詰め込み、後者は必要な断片だけを検索して渡す。どちらが優れているかという問いは、条件を欠いたまま問うと答えが出ない。判断を分けるのは、対象となる知識の総量、更新の頻度、そして一回の推論あたりに許容できるコストである。

知識の総量がコンテキスト長を大きく超える場合、そもそも全量を入力できないため RAG が前提になる。逆に、参照範囲が限定的で、かつ全体の整合性を見渡す必要がある場合は、長コンテキストのほうが素直に働く。一方で、検索の品質が低ければ RAG は誤った断片を渡してしまい、かえって生成品質を損なう。この失敗の連鎖については、RAG が本番で失敗する構造で詳しく扱っている。両者は排他ではなく、検索で候補を絞り込んだうえで長めの文脈として渡す折衷が現実的な場合も多い。

結論：長さは能力ではなく前提条件である

コンテキスト長は、モデルの能力そのものではなく、能力を発揮するための前提条件のひとつにすぎない。長く入力できることと、長い文脈を有効に使えることのあいだには、計算コストと注意の希薄化という二つの溝がある。仕様上の最大長を鵜呑みにせず、中盤の情報が拾われにくいという偏りを前提に入力を構成すること、そして知識の総量と更新頻度から RAG との境界を見極めること——この二点が、長コンテキストを実務で機能させる鍵になる。