結論から書きます。社内データにAIを答えさせるのに、高価な追加学習は必ずしも要りません。汎用LLMに構造化データを「たどらせる」だけで最先端の精度が出ています。ただしその最先端が、易しめの問題でMacro F1 66.29%、難しい問題で40.83%です。3割から6割は外れる前提で運用を組む以外にありません。

（出典：arXiv:2607.14561、2026年7月16日（arXiv:2607.14561v1）、https://arxiv.org/abs/2607.14561v1）

何が測られたのか：ファインチューニングなしで既存最良を上回った

研究グループ（Nikit Srivastava、Daniel Vollmers、René Speck、Nikolaos Karalis、Hamada M. Zahera、Axel-Cyrille Ngonga Ngomo）が発表した「MARS: Multi-hop Adaptive Retrieval and SPARQL Generation for KGQA」は、EKAW 2026に採録された論文です。

やっていることは単純化すればこうです。人間が自然文で質問する。AIがいきなり答えを作文するのではなく、知識グラフ（構造化されたデータベース）の中を何段階かたどって関連する情報の断片を集める。そのうえでSPARQLという問い合わせ言語のクエリを生成し、実際にデータベースに実行させて答えを取る。

重要なのは、この手法が追加学習を一切していないことです。使用したLLMはGPT-OSS-120Bで、ファインチューニングはなし。にもかかわらず、既存手法を上回っています。

ベンチマーク・言語 MARS GRASP UniQ-Gen MST5
LC-QuAD2.0（英語、テスト4,624問） 40.83% 38.36% 34.56% —
QALD系（英語） 66.29% 62.29% 26.18% 29.57%
QALD-9-plus（フランス語） 71.93% 12.38% — —
QALD-9-plus（アルメニア語） 65.96% 10.14% — —

数値はすべてMacro F1です。条件を添えておきます。LC-QuAD2.0はテスト4,624問、対象の知識グラフはWikidata（約110億トリプル）。QALD-9-plusはテスト127問（9言語）、QALD-10はテスト382問（4言語）で、このうち約30%が複数ホップ質問、つまり一発の検索では答えられない設問です。フランス語・アルメニア語の数字はQALD-9-plusのテスト127問ベースです。

実験環境はRAM 256GB・16コア・A100（40GB）×4。知識グラフはTentrisというトリプルストアで保持しています。1リクエストあたりの平均消費トークンは4.3kトークン（最終設定 topn=20 / mhop=10）でした。

読者への意味（1）：モデルを鍛えるより、データを整えるほうが効く

中小企業でよくある相談が「うちの社内データを学習させたAIを作りたい」です。この論文は、その前提を一度疑ってよいと示しています。

  • ファインチューニングはゼロ。それでも既存最良手法を上回った
  • 効いたのは「モデルの賢さ」ではなく「データをたどれる形にしてあること」と「生成したクエリを実際に実行して検証すること」
  • アブレーション（構成要素を外して効果を測る実験）で最も効いたのは、生成したSPARQLを実行して検証する工程だった。これを足すだけでMacro F1が65.47%から70.94%へ、5.5ポイント改善している（条件：QALD-10の訓練セットでの内部検証）

つまり投資先はモデル学習ではなく、(a) 自社データの構造化、(b) AIが出した答えを機械的に検証する仕組み、の二つになります。どちらもモデル学習より安く、社内でコントロールできます。

多言語の結果も示唆的です。フランス語71.93%・アルメニア語65.96%に対し、同条件のGRASPは12.38%・10.14%と事実上機能していません。言語ごとにモデルを鍛え直すのではなく、構造化データを参照させる設計にしたほうが、データの少ない言語でも崩れにくい、ということです。

ただし後述しますが、日本語は評価対象に入っていません。

関連して、追加学習を避けて手元の環境で動かす発想についてはCPUだけでローカル推論はどこまで実用になるか、少人数チームでの導入順序は少人数チームでAIを定着させる進め方も併せてお読みください。

読者への意味（2）：精度の天井を先に見積もる

こちらのほうが実務的には重要です。

最先端手法の到達点が、易しめのQALD系で66.29%、最難関のLC-QuAD2.0で40.83%。これは研究用の整備されたデータと潤沢な計算資源での数字です。自社の雑多なデータで、これを上回ると期待する根拠はありません。

  • 「社内DBに自然文で質問できるAI」は、3割から6割が誤答または不完全回答になる前提で設計する
  • 見積・請求・在庫数量など、間違いが金銭に直結する用途に無検証で置かない
  • 答えの根拠（どのレコードを見たか）を必ず画面に出し、人が3秒で照合できるようにする

誤り分析の内訳も参考になります。QALD-10英語では289問中202問正解でしたが、そのうち95問は「正解とされるSPARQLとは別の書き方」で当てたものでした。QALD-9-plusでは99問中60問正解、うち26問が別形式です。正解・不正解の判定そのものが、書き方の違いで揺れているということです。

社内で精度を測るときも同じ罠にはまります。評価基準の作り方は自社でAIの評価基準をどう作るかにまとめています。

論文が自ら認めている限界

誠実な論文なので、不都合な点を数多く自己申告しています。ここは飛ばさずに読んでください。

  • 高次数ノード（つながりが極端に多いデータ）に対するパターン検索は結合処理が重く、一般的なトリプルストアでは実用的な時間で応答できないと明記している。スケール面の弱点
  • 結果件数を1,000件で打ち切る仕様のため、大量ヒットする質問は構造的に不正解になる。QALD-9-plus 設問#177では正解が24,512件あり、予測は上限の1,000件で頭打ちになった
  • Yes/No質問に対して根拠テキストを返してしまう、集計・比較系の質問で失敗する、リテラル生成が保守的で再現率を犠牲にする、といった誤りパターンを著者自身が列挙している
  • リソース制約により評価はWikidata系ベンチマークのみ。FreebaseやDBpediaなど他の知識グラフへの適用は今後の課題と認めている
  • 「F1は論文間で直接比較できない」と自認している。KGQA各手法が分母の取り方を変えて報告しているため、他手法との優劣比較には限界がある
  • ベンチマーク側にも問題がある。構築時に使ったKGスナップショットが公開されておらず（QALD-10はWikidataダンプが不完全）、正解そのものが揺らぐ
  • 比較対象に入れようとしたSPINACHは、Wikidata固有の依存と回答集合の規約差により評価に組み込めなかった
  • 評価言語は英語・ドイツ語・ロシア語・フランス語・アルメニア語・中国語などで、日本語は含まれていない

もう一つ、研究の態度として注目すべき判断があります。検索幅を広げた設定（topn=100 / mhop=1）ではMacro F1 72.10%という最高値が出ていました。しかし著者はこれを採用せず、67.92%の設定を選んでいます（条件：QALD-10訓練セット）。ベンチマークに過剰適合して汎化しないと判断したためです。

自社で検証するときも同じ姿勢が要ります。テストデータで一番いい数字が出た設定が、本番で一番いい設定とは限りません。数字の読み方についてはコストを織り込んだAI評価の考え方も参考になります。

TOEの読み筋

先に明記します。TOEでは未実施です。 知識グラフを構築して自然文質問を受けるKGQAシステムを、クライアント案件でも自社でも本番稼働させたことはありません。以下は論文を読んだうえでの読みであり、実測に基づく主張ではありません。

そのうえで三点。

第一に、社内データQAの投資配分を組み替える材料になります。「専用モデルを学習させる」提案を受けたとき、まず「構造化と検証工程だけで、どこまで届くか」を測る段階を挟む。5.5ポイントの改善が実行検証という地味な工程から出ていることは、そういう順序の妥当性を後押しします。

第二に、精度目標の置き方です。研究の最先端が66.29%なら、社内システムの受け入れ基準を「正答率9割」と置くのは現実的ではありません。置くべきは「AIが答えを出し、人が根拠を確認し、確定させるまでの所要時間」です。全自動ではなく下書き生成として設計すれば、40%台の正答率でも十分に元が取れる業務はあります。

第三に、日本語の空白です。評価対象9言語に日本語は入っていません。多言語で崩れにくいという結果を、そのまま日本語に持ち込む根拠はありません。国内導入なら、自社データ・自社の質問文で実測してから判断する。ここは省略できないと考えています。

そして限界を承知したうえでの前向きな読みとして、上限1,000件の打ち切りやYes/No質問の失敗は、いずれも設計上の制約であって知能の限界ではありません。用途を絞れば回避できる種類の問題です。何でも聞けるAIではなく、聞くことが決まっているAIとして設計するなら、この技術の実用ラインは論文の数字より上に来る可能性があります。

まとめ

  • MARSは追加学習なしの汎用LLMで、Macro F1 66.29%（QALD系・英語）、40.83%（LC-QuAD2.0・英語、テスト4,624問）を記録し、既存最良のGRASP（62.29%／38.36%）を上回った
  • 最も効いた工程は生成したSPARQLの実行検証で、これだけで65.47%から70.94%へ5.5ポイント改善（QALD-10訓練セットでの内部検証）
  • 一方で精度の天井は低い。社内DBへの自然文質問AIは3割から6割が誤答・不完全回答になる前提で、人の検証を残す運用にする
  • 論文は限界を自己申告している。高次数ノードでの応答遅延、結果1,000件打ち切りによる構造的不正解（正解24,512件の実例）、Wikidata以外は未評価、F1の論文間比較不可、ベンチマークの正解自体の揺らぎ
  • 評価言語に日本語は含まれない。国内導入は自社データでの実測が前提で、TOEでは未実施