RAGとGraphRAGを同じ100問で並べたら、勝敗が質問タイプで真っ二つに割れた

社内ドキュメント約4,200件に対して、100問の質問を従来RAGとGraphRAGへ同時に投げた。質問を5カテゴリに分類し、成績を比較したところ、全体ではGraphRAG が68問正解に対しRAGが54問。だがカテゴリ別に開くと様子が一変する。局所質問（ファイル内の事実確認、28問）と時系列質問（16問）ではRAGが優位。横断質問（複数文書の統合、22問）と多ホップ質問（エンティティチェーン、16問）、推論質問ではGraphRAGが圧勝した。

ここが落とし穴だ。合計スコアだけを見れば「GraphRAG勝利」で意思決定が終わるが、実際には質問タイプで勝敗が真っ二つに割れている。局所質問で18ポイント負けるというのは、ユーザーが最も頻繁に投げる「APIの認証ヘッダ名は？」といった事実確認で間違えるということ。残り72問がどれだけ優秀でも、一番投げられる質問で外すと信頼を失う。GraphRAGは要約をインデックスにするため、細かい固有名詞（バージョン番号、コマンドオプション）が圧縮で消える。これが局所弱さの構造的原因だ。

AIツール選定の実務では、全体スコアではなく「自社の質問分布がどこにあるか」から逆算する必要がある。社内QAで局所質問が7割を占めるならRAGを選ぶべきだし、エンタープライズサーチで複数文書の統合が主なら最初からGraphRAGを導入すべき。評価の粒度を見誤ると、「新しい技術は強い」という直感で全社導入して、実務側から「こっちの方が使いづらい」という声が上がる事態に至る。測定してから判断するだけで、その後のトラブルをかなり減らせる領域である。