結論から書きます。「その文書が答えに役立つか」を測る従来の検索精度スコアは、複数ステップで自律的に検索するAIエージェントにおいて、その文書が実際に正解到達へ因果的に効いているかをほとんど予測できませんでした。相関はρ=-0.0257です（出典：arXiv:2607.15253、2026年7月16日（arXiv:2607.15253v1）、https://arxiv.org/abs/2607.15253v1）。社内文書検索AIを「検索精度◯%」だけで判断すると誤ります。
どんな研究で、何を測ったのか
Debayan Mukhopadhyay（カルカッタ大学）、Utshab Kumar Ghosh（ミズーリ科学技術大学）、Shubham Chatterjee（ミズーリ科学技術大学）による論文「Bridge Evidence: Static Retrieval Utility Does Not Predict Causal Utility in Multi-Step Agentic Search」です。
測ったのは2つの数字の関係です。ひとつは「静的検索有用性」。その文書1本を単独で読ませたとき、答えにどれだけ近づくかというスコアで、いわゆる検索精度指標の考え方に近いものです。もうひとつは「因果的有用性（CTU）」。エージェントの実行過程からその文書を取り除いたとき、最終的な結果が変わるかどうかを実際に確かめる測り方です。
条件は、HotpotQAという英語のマルチホップQAデータセットの開発セットから抽出した1,000問（元は7,405問）、ReAct型エージェント1構成、文書観測は23,322件。エンティティ分析には769本のマルチステップ軌跡を使い、227,139件のエンティティ観測を得ています。再現性の比較には別サンプルの300問（条件の記載なし）が使われました。
ρ=-0.0257という数字が意味すること
スピアマン相関ρ=-0.0257は、実務的にはほぼ無相関です。静的スコアの高い文書が、エージェントの正解到達に効いているとは限らない。逆も同じです。
論文はさらに、文書を静的有用性×因果的有用性の4象限に分けています。23,322件の内訳は次のとおりです。
| 象限 | 内容 | 割合（23,322件中） |
|---|---|---|
| セルA | 静的にも因果的にも有用 | 1.12% |
| セルB | 静的には有用だが因果的には冗長 | 2.18% |
| セルC | 静的には無用だが因果的には必要（橋渡し文書） | 35.72% |
| セルD | 静的にも因果的にも無用 | 60.98% |
注目すべきはセルCです。単体で読んでも答えは何も書いていない。だから従来指標ではゼロ点になる。しかし取り除くと結果が変わる。全体の35.72%がこれに当たりました。
なぜそんなことが起きるのか。論文はエンティティの分析でひとつの説明を出しています。識別力の高いエンティティ（高OER）が次の検索クエリに現れる率は6.1%で、低OERの1.5%に対して4.02倍でした（227,139件のエンティティ観測、完全一致判定）。部分一致判定では14.4%対8.2%で1.77倍です。つまり、その文書に含まれる固有名詞が「次に何を検索すべきか」を決めている。答えではなく、次の一手を渡しているわけです。
中小企業にとって、これは何の話か
社内文書検索AI（RAG）やAIエージェントを入れた会社にとって、これは評価軸と文書整理の話です。
- ベンダーの「検索精度◯%」は、単体文書が答えを含むかどうかを測っていることが多い。エージェント型で複数回検索させる使い方では、その数字が最終的な回答の質を予測しない可能性がある
- 社内ナレッジを整理するとき「答えが書いてある文書だけ残す」方針は、逆効果になりうる。型番、担当者名、部署名、旧製品コードといった、それ自体は答えでないが次の検索語を与える文書が効いている
- 評価は「文書単体のスコア」ではなく「その文書を外したら回答が変わるか」で見るほうが、エージェント型の実態に近い
具体的に言えば、「この不具合の対処は誰に聞けばいいか」という問いに対して、対処法が書かれた文書だけでなく、「その製品ラインの担当は製造二課」と書いてあるだけの一覧表が効いている、という構図です。後者は単体では何も答えていないので、精度評価では捨てられます。
論文が認めている限界
ここは正直に書きます。この結果をそのまま自社に当てはめる根拠は弱いです。論文自身が挙げている限界は次のとおりです。
| 限界 | 内容 |
|---|---|
| データセット | 検証はHotpotQAという単一の英語QAベンチマークのみ。エージェントもReAct型1構成 |
| 静的軸の偏り | 静的有用性の軸が偏っており、35.72%という橋渡し文書の割合はその偏りをそのまま引き継いでいる |
| 比較モデルの弱さ | 比較に使った静的リーダー（単体文書で答えさせるモデル）の絶対性能が弱い |
| 代理指標での縮小 | 四象限分析でBM25とクロスエンコーダの判定が食い違ったケースを捨てており、9,600レコードに縮小すると割合は27.16%へ低下（ρ=-0.0161, p=0.116） |
| CTUの性質 | 因果的有用性は文書そのものの性質ではなく、特定のエージェントに依存する性質である |
| 再現性 | 再実行時の決定性（同じ条件での再現）は近似的にしか担保されていない |
| プール規模 | OER算出のための関連文書プールが小さい |
| ターン数 | ターン数の内訳は交絡しており、難易度の解釈には使えないと明記されている |
とくに4番目は重いです。判定が一致したサブセットに絞ると、橋渡し文書の割合は35.72%から27.16%へ下がり、相関のp値は0.116で有意水準にも届いていません。「35.72%」という数字を独り歩きさせるのは危険で、方向性としては残るが、量としては条件次第で動くと読むべきです。
そして5番目。因果的有用性はエージェント構成に依存します。エージェントを別のものに替えれば、どの文書が橋渡しになるかも変わります。日本語の社内文書や業務システム上での再現は未検証です。
TOEの読み筋
TOEでは未実施です。この論文の手法（文書を除去して結果の変化を見る因果的評価）を自社や顧客の社内文書検索で試したことはありません。そのうえで読みを書きます。
読み筋は3つです。
- 一次選定の指標を変える必要はまだない。ただし「検索精度」の中身をベンダーに聞く価値は出た。単体文書で答えられるかを測っているのか、エージェントの最終回答で測っているのか。この2つは別物である可能性が高い
- 社内文書の断捨離を止める理由になる。「答えが書いていないから不要」と判断して消してきた台帳・一覧表・組織図の類が、エージェント型では効いているかもしれない。削除より、まず保持したまま検索対象に含める
- 自社での確かめ方は素朴でよい。ある質問に対して回答が正しく出る状態を作り、そこから文書を1本ずつ外して回答が崩れるかを見る。n数は小さくても、自社の現物で見た結果のほうが、他社ベンチマークの数字より判断に使える
導入評価そのものの考え方は自分の評価基準を持つという話、社内文書検索の実務面は小さいモデルでの文書検索にも書いています。エージェントの基本構造はAIエージェントとは何かを先に読むと、この論文の「複数ステップ」の意味が掴みやすいはずです。
まとめ
- 静的な検索有用性スコアと、実際に正解へ効いた因果的有用性の相関はρ=-0.0257でほぼ無相関だった（23,322件の文書観測、HotpotQA開発セット1,000問、ReAct型エージェント）
- 単体では答えを含まないのに、削除すると結果が変わる「橋渡し文書」が35.72%を占めた。静的にも因果的にも無用だったのは60.98%、両方高いのは1.12%、冗長は2.18%
- 識別力の高いエンティティが次の検索クエリに出る率は6.1%対1.5%（4.02倍、227,139件のエンティティ観測、完全一致判定）で、文書は答えではなく次の検索語を渡している
- 限界は大きい。単一の英語ベンチマークとエージェント1構成のみ、静的軸の偏りをそのまま引き継ぐ、判定一致サブセットでは27.16%（ρ=-0.0161, p=0.116）まで下がる、因果的有用性はエージェント依存で再現も近似的
- TOEでは未実施。数値の転用ではなく、「検索精度の中身をベンダーに確認する」「答えを含まない台帳類を消さない」「自社の現物で1本ずつ外して確かめる」という使い方を勧める
（出典：arXiv:2607.15253、2026年7月16日（arXiv:2607.15253v1）、https://arxiv.org/abs/2607.15253v1）