AIに社内資料を読ませて文書を作らせると、原典に直接遡れる記述は43.7%、一切遡れない創作が22.1%、処理の仕組み由来のゴミが6.8%でした（分類済み来歴ポイント計N=2,629、3回の独立シミュレーション）。しかも創作は文章の趣旨ではなく金額・パーセント・期限・機関名に集中します。検算すべき場所が特定できた、という点が実務的な収穫です。
何が測られたのか
2026年7月16日に公開された「Digital Pantheon」という研究です（出典：arXiv:2607.15095、2026年7月16日（arXiv:2607.15095v1）、https://arxiv.org/abs/2607.15095v1）。著者は Dylan Van Mulders、Matthias Bogaert、Dirk Van den Poel の3氏。
やったことは単純です。2019年のベルギー・フランドル選挙で各政党が出した公式マニフェストを学習・参照させ、複数のLLMエージェントにそれぞれの政党を演じさせ、連立交渉を模擬して合意文書を作らせました。交渉はハブ&スポーク型の4ラウンド構成です。
肝心なのはその次で、出てきた合意文書を1条項ずつ分解し、「これは原典のどこに由来するのか」を分類したことです。ここまでやった研究は珍しく、実務者にとって価値があるのもこの監査部分です。
| 分類 | 割合 | 点数（N=2,629） | 意味 |
|---|---|---|---|
| Direct Lineage | 43.7% | 383.3±9.1 | 原典の記述に直接遡れる |
| Orphan（ハルシネーション） | 22.1% | 193.7±18.5 | 原典に一切遡れない完全な創作 |
| Pipeline Artifact | 6.8% | 59.7±4.0 | 処理パイプライン由来の欠陥 |
Orphan と Pipeline Artifact を合わせると 28.9%。公式文書を与えたうえで、なおこの割合です。残りは Diluted（薄まった派生）や Synthesized（複数原典の合成）といった中間分類が占めます。
「資料を食わせたから安心」は成り立たない
中小企業でよくある使い方は、過去の提案書や仕様書、議事録をAIに読ませて、新しい文書のたたき台を作らせるものです。いわゆるRAG構成ですね。「原典を渡しているのだから嘘は減るはずだ」という期待が前提にあります。
この研究の数字は、その期待を部分的に否定します。原典を与えても、出てきた文の約3割は出典が取れないという前提で運用設計する必要がある。
さらに厄介なのが Pipeline Artifact の 6.8% です。これは原典由来でも創作でもなく、チャンク分割や検索の仕組み側が生んだゴミです。この研究では ChromaDB を使い、コサイン類似度しきい値 <0.51、1クエリあたり最大 k=5 チャンクという設定で検索していました。チャンク分割は ASH方式（正規表現＋Gemma3 temperature 0.1 による意味的整合チェック）です。つまり、それなりに丁寧に組んだ構成でもこの割合が残るということです。
社内で「AIの出力がなんか変」という話になったとき、モデルの賢さではなく資料の切り方や検索設定が原因という可能性が常にある、と覚えておくと切り分けが早くなります。関連して、AIが「思考の質」ではなく「答えの体裁」で評価されがちな問題も合わせて読むと、出力の見た目に騙されない目線が作れます。
検算すべき場所は特定できる
この研究のもうひとつの発見は、ハルシネーションが大枠ではなく運用上の具体値に集中するという点です。論文は、捏造されるのは「予算・パーセンテージ・期限・機関名」だと指摘しています。
文章全体の方向性は原典に沿っているのに、そこに埋め込まれた数字と固有名詞だけが架空、という壊れ方です。これは業務で最悪の壊れ方に近い。読んで違和感がないぶん、そのまま社外に出てしまうからです。
そこで実務ルールに落とすと、こうなります。
- 生成された文書のうち、金額・比率・納期・会社名や部署名は全件、人間が原典と突き合わせる
- 文章の趣旨・構成は、比較的そのまま使ってよい部分として扱う
- 出典が辿れない文は、採用前に「これはどの資料から来たか」を問い直す
3つ目には実測の裏づけがあります。この研究では、原典に紐づく記述（Direct/Diluted/Synthesized）の現実一致度が G=0.32〜0.37、誤り由来（Pipeline/Orphan）が G=0.164 で、約2倍の差がありました。「出典が辿れる文だけ採用する」という単純なルールが、実際に品質を上げる方向に効くということです。
現実とどれだけ一致したのか
AIが作った合意文書が、実際に締結された連立協定とどれだけ一致したかも測られています。フランドル政府の22政策分野を対象に、3シミュレーション×各2回の評価です。
| 一致度 | 割合 |
|---|---|
| Present（記載あり） | 9.9%±2.0 |
| Partial（部分的に一致） | 35.9%±0.9 |
| Absent（対応物なし） | 54.2%±1.5 |
| 総合指標 G | 0.278±0.017 |
完全に一致したのは 9.9%。半数超の 54.2% は現実に対応するものがありませんでした。AIによる交渉シミュレーションは、結果を当てる道具としては機能していないというのが正直な読み方です。
分野別のばらつきも示されています。上位は教育 G=0.491、貧困対策 0.416、外交 0.402。下位は財政・予算 0.147、ブリュッセル関連 0.183。数字が絡む財政分野が最下位というのは、先ほどの「捏造は具体値に集中する」という話と一致します。理念や方向性は当たるが、金額は当たらない。
一方で、連立影響力スコア（CIS）は3回の試行で順位が一貫していました。N-VA 40.0%±3.3（1位）、CD&V 31.8%±1.8（2位）、Open Vld 28.2%±1.8（3位）。中身の正確さは低いのに、相対的な力関係の順位は安定して再現されるという非対称が観察されています。
論文自身が認めている限界
この研究は自分の弱点をかなり率直に書いています。実務で参照するなら、こちらも押さえておくべきです。
- CIS指標は条項を予算規模や政治的重要度に関係なく等しく重み付けしており、教育と動物福祉が同じ重みになるという不整合を著者自身が認めている
- シミュレーションは閉じた系で、社会経済状況・連邦政府・メディアの注目度・有権者からのフィードバックといった外部チャネルを一切含んでいない
- 現実一致の3値評価は「矛盾している」ケースを単に「不在」として記録してしまい、誤りと言及なしを区別できない
- 一致判定に使った自動NLIラベルは人間の専門家による検証を経ておらず、監査ログを通じてしか妥当性を確認できない
- 結果は2019年フランドル選挙という単一事例に条件づけられており、比例代表制の連立政治一般の性質なのか、フランドル特有の分断的政党制の産物なのかは判別できていない
- SFT・DPO・RAG それぞれがどれだけ寄与したかのアブレーション（成分分解）実験が未実施
最後の点は特に効きます。22.1%というハルシネーション率が、学習方法によるものなのか検索設定によるものなのかが分解されていない。「22.1%」を自社の数値目標として持ち込むことはできません。使えるのは「無視できない割合で出典が取れない文が混ざる」という定性的な事実と、「具体値を検算せよ」という処方箋のほうです。
手元のMacで動く構成だった
実装面も中小企業向けの示唆があります。使われたのは Gemma-3 27B を4bit量子化（QLoRA／Apple MLX）。ベースモデルを統合メモリに常駐させ、政党別のアダプタだけを差し替えて複数エージェントを動かしています。学習設定は SFT 5エポック・バッチ2、DPO 3エポック・バッチ1・学習率5×10⁻⁶・β=0.1 です。
これは業務に読み替えると、1台のMacにベースモデルを載せ、部署ごと・立場ごとのLoRAアダプタを差し替えて複数のAI担当者を回す構成です。クラウド課金がかからず、データが社外に出ない。社内AIの現実的な型として参考になります。ローカル運用の考え方は社内でAIを動かす選択肢でも扱っています。
TOEの読み筋
先に明記しておくと、TOEではこの論文の手法（来歴監査つきのマルチエージェント交渉シミュレーション）は未実施です。以下は数字を読んだうえでの読みです。
読み筋は3つあります。
第一に、RAGの評価軸を「正しいか」から「辿れるか」に変えるべきだと考えています。出力が正しいかどうかを人間が毎回判断するのはコストが高い。一方「この文の出どころはどのファイルの何行目か」は機械的に出せます。この研究が示した「出典が辿れる文のほうが現実一致度が約2倍高い」という関係が正しければ、辿れるかどうかを一次フィルタにするのは合理的です。
第二に、検算対象を絞る運用が現実解だという読みです。全文チェックは続きません。金額・比率・期限・組織名だけを抽出して突き合わせる工程を定型化すれば、負荷はかなり下がります。この工程自体を別のAIに機械的にやらせることも考えられますが、TOEでは未検証です。
第三に、AIに「予測」をさせる用途には慎重であるべきという読みです。この研究で完全一致は9.9%でした。同じ構造は、AIに需要や成約を予測させる場面でも起きうると見ています。需要予測のピーク時の弱さでも触れたとおり、平均的にはそれらしくても、肝心な局面で外れる形が繰り返し出てきます。
ただし、CISの順位が3回とも安定していた点は無視できません。絶対値は当てにならないが、相対順位は再現する。もし業務でも同じ性質があるなら、AIに「いくらになるか」を聞くのではなく「AとBのどちらが効くか」を聞くほうが筋がいい、ということになります。これも自社データでの検証が必要で、TOEでは未実施です。
まとめ
- 公式文書を与えたうえでも、生成物のうち原典に直接遡れたのは43.7%、一切遡れない創作は22.1%、仕組み由来の欠陥は6.8%だった（N=2,629、3回の独立シミュレーション、2019年フランドル選挙）
- 捏造は文章の趣旨ではなく、予算・パーセンテージ・期限・機関名といった運用上の具体値に集中する。検算対象はここに絞れる
- 出典が辿れる記述は現実一致度 G=0.32〜0.37、誤り由来は G=0.164 と約2倍の差。「出典が辿れる文だけ採用する」ルールに実測の裏づけがある
- 現実の連立協定との完全一致は9.9%±2.0、対応物なしが54.2%±1.5。予測装置としては機能していない
- 単一事例・アブレーション未実施・NLIラベルの人手検証なしという限界がある。数字をそのまま自社に当てはめることはできず、TOEでも同手法は未実施