RAG が本番で失敗する構造：検索品質とハルシネーションの連鎖

検索拡張生成（RAG）は、外部知識を検索して生成に渡すことでハルシネーションを抑える手法として広く紹介されている。理屈のうえでは、モデルに正しい根拠を与えれば出力は正確になるはずである。ところが本番環境では、期待したほど効かない、あるいは導入前より状況が悪化するという報告が絶えない。本稿では、RAG が失敗する典型的な経路を、事後分析（ポストモーテム）の視点で分解する。

失敗は生成ではなく検索から始まる

RAG の議論は生成モデルの性能に集中しがちだが、本番での失敗の多くは検索段階に起源を持つ。検索が的外れな断片を返せば、生成モデルはその誤った根拠を忠実に反映してしまう。モデルは渡された文脈を信頼するよう訓練されているため、根拠が間違っていても、それをもっともらしい文章に仕立て上げる。結果として、誤りが「出典付き」で提示され、かえって信じられやすくなるという皮肉な事態が生じる。

この構造は、ハルシネーションの原因を生成モデルだけに求める見方の限界を示している。検索が渡した文脈が誤っている限り、どれほど優秀な生成モデルを使っても出力は正しくならない。むしろ生成モデルが優秀であるほど、誤った根拠を説得力のある文章に変換してしまう。品質の連鎖は検索から始まり、生成はそれを増幅する装置として働く。

埋め込みの陳腐化という見えにくい劣化

導入直後は良好に見えた RAG が、数か月後に精度を落とす事例には共通のパターンがある。文書が更新されても埋め込みインデックスが再構築されず、古い内容と新しい内容が混在する状態である。検索は形式上は成功しているように見えるため、この劣化は監視から漏れやすい。エラーログには何も残らず、ただ回答の質が静かに下がっていく。

もうひとつの見えにくい劣化は、埋め込みモデルと文書の言語的性質のずれである。専門用語の多い社内文書を、一般的な文章で訓練された埋め込みモデルで検索すると、表層は似ているが意味の異なる断片が上位に来ることがある。この種の失敗は、平均的な検索精度の指標では捉えにくい。ガバナンスの観点からも、検索品質の継続的な監視は導入時の精度検証と同じくらい重要になる。

チャンク分割が文脈を壊す

文書を検索可能な単位に分割する処理（チャンク分割）は、地味だが失敗の温床になりやすい。分割の境界が不適切だと、一つの論点が二つの断片に分断され、どちらを検索しても半分の情報しか得られない。逆に大きすぎるチャンクは、無関係な内容を巻き込んで検索の精度を下げる。

この問題が厄介なのは、最適な分割単位が文書の構造に依存し、一律の設定では対応できない点である。表や箇条書きを含む文書と、連続した散文とでは、適切な境界の引き方が異なる。ただし、分割の巧拙は導入時のデモでは表面化しにくく、多様な実文書を投入して初めて綻びが見える。もっとも、この段階まで検証を尽くさずに本番投入する事例が、失敗報告の背景にしばしば見られる。

事後分析から得られる設計原則

これらの失敗経路を振り返ると、いくつかの設計原則が浮かび上がる。第一に、検索品質を生成品質と切り離して独立に計測すること。回答が悪いとき、原因が検索にあるのか生成にあるのかを切り分けられなければ、対処は当て推量になる。第二に、埋め込みインデックスの鮮度を明示的に監視すること。エラーとして現れない劣化は、専用の指標を設けない限り検出できない。

第三に、検索が自信を持てないときに、無理に回答させない仕組みを設けること。関連度の低い断片しか得られない場合は、生成を強行するより「該当情報なし」と応答するほうが、誤った出典付き回答より安全である。一方で、この閾値を厳しくしすぎると回答率が下がりすぎるため、業務上の許容度に応じた調整が必要になる。人手の介入をどこに置くかという論点は、RAG の信頼性設計にも直結する。

結論：RAG は魔法ではなく検索システムである

RAG がハルシネーションを抑えるという説明は、検索が正しく機能することを暗黙の前提にしている。その前提が崩れれば、RAG は誤りを出典付きで正当化する装置に変わる。本番で機能させる鍵は、生成モデルの選定よりも、検索品質の独立した計測、インデックスの鮮度管理、チャンク分割の妥当性検証にある。RAG を「魔法の箱」ではなく「精度が劣化しうる検索システム」として扱う姿勢が、失敗を避ける出発点になる。