結論から書きます。社内資料を読ませたAIに「ネットでも調べて」と頼むと、検索窓に渡すクエリそのものへ社内情報が混ざります。ServiceNowの検証では、素のモデルで漏洩率34.0%。プロンプトで「漏らすな」と指示しても25.5%までしか下がりませんでした。指示ではなく運用で止める話です。
MosaicLeaksは何を測ったベンチマークか
MosaicLeaksは、企業内の文書と外部Web資料の両方を参照して多段の質問に答えるAIエージェントが、外部検索へ投げるクエリのなかに機密情報をどれだけ含めてしまうかを測る評価環境です。名前が示すとおり、一つひとつは断片でも、検索ログ側に残ったクエリを寄せ集めると(モザイクのように)元の機密が復元されうる、という危険を対象にしています(出典:ServiceNow(著者: Alexander Gurung、Rafael Pardinas、Spandana Gella、Alexandre Drouin、Issam H. Laradji、Perouz Taslakian)、2026-06-18、https://huggingface.co/blog/ServiceNow/mosaicleaks)。
先に立場を明示します。この記事は、ServiceNow社自身による発表であり、同社はエンタープライズ向けAI/ワークフロー製品の提供者です。「企業AIの機密保持は難しい」という問題設定を打ち出すこと自体に、同社の商業的な利害が関係します。ただし今回の公開内容のなかで自社製品を直接売り込む記述は確認されません。数字を読むときは、測った側が当事者であるという前提で受け取ってください。
ベンチマークの規模と条件は次のとおりです。
| 項目 | 数値・内容 | 条件 |
|---|---|---|
| チェーン(多段質問)数 | 1,001件(訓練559/検証98/テスト344) | 企業文書は合成データ、Web資料は固定コーパス |
| 企業コンテキスト | 3社分 | 実在企業ではなく、実験用に構成されたもの |
| 中心となる評価モデル | Qwen3-4B | 小規模なオープンモデル |
| タスク形式 | 多段質問応答 | 自由形式のリサーチ業務ではない |
規模感として押さえておきたいのは、企業文書が合成データであること、Web側のコーパスが固定であること、企業コンテキストが3社分にとどまることです。統制の効いた実験環境である代わりに、現実の社内文書の雑多さは再現されていません。
一次資料の実測:34.0%、25.5%、51.7%、9.9%
公開された主要な実測値は次の4点です。いずれもMosaicLeaksベンチマーク上、Qwen3-4Bを中心とした評価によるものです。
- 素のモデル(追加学習なし)の情報漏洩率は34.0%でした。ここでの漏洩は、回答漏洩および完全情報漏洩として定義されています。同条件でのタスク成功率(strict chain success)は48.7%です。
- 「情報を漏らすな」とプロンプトで指示した場合の漏洩率は25.5%でした。指示なしの34.0%と比べれば下がっていますが、著者は、この効果はモデルによって一貫しないと明記しています。
- タスク精度のみを報酬にして強化学習した場合、漏洩率は51.7%に悪化しました。同じ学習でタスク成功率は48.7%から59.3%へ向上しています。つまり、精度を上げる調整が漏洩を増やしました。
- プライバシーを考慮して学習した場合(PA-DR)の漏洩率は9.9%でした。このときタスク成功率は58.7%を維持しており、精度だけを追ったtask-only RLの59.3%とほぼ同等です。
もう一つ、学習コストに関する数字があります。状況依存報酬(situational reward)を使うと、結果報酬(outcome reward)に比べて学習に必要な生成サンプル数が5〜6分の1で済んだと報告されています。
この並びで最も実務に効くのは3点目です。精度を上げる方向のチューニングが、漏洩を34.0%から51.7%へ押し上げた。エージェントは「正確に答えるため」により多くの手がかりを外部検索に渡そうとする、という構図が読み取れます。精度と機密保持は同じレバーの上に乗っていません。
読者への意味:中小企業の現場に何が起きるか
社内資料をAIに読ませ、そのうえで外部の情報も調べさせる。この使い方は中小企業でも珍しくなくなりました。見積作成、競合調査、規格や法令の確認、取引先の与信チェック。どれも「手元の資料+ネット検索」の組み合わせです。この検証が示しているのは、その組み合わせの接点、つまり検索窓に渡す文字列が漏洩経路になるという点です。
実務上の含意は3つです。
- プロンプトで禁じるだけでは足りません。 34.0%が25.5%になっただけで、著者自身が効果は一貫しないと書いています。社内規程に「AIに機密を入力しない」と書くのは必要ですが、それは入力側の話であり、AIが自分で組み立てる検索クエリまでは縛れません。
- 精度チューニングは漏洩を悪化させうるので、別々に管理してください。 「もっと賢く調べさせよう」という改善が、そのまま漏洩の増加になる可能性があります。導入時の評価項目に、精度とは独立した「外部送信内容の点検」を立てる必要があります。
- 何を検索窓に渡したかをログで確認できる状態にしてください。 使っているツールが外部検索クエリのログを残せるか、残せないなら機密案件では外部検索をオフにできるモードがあるか。この2点は導入前に確認できる項目です。
線引きの現実解としては、案件の機微度でモードを分けるのが扱いやすいはずです。社外に出しても構わない一般調査は外部検索あり、見積原価や人事情報や取引条件が絡む作業は外部検索オフ、と決めておく。技術的な高度さより、誰が見ても判断できる区分けであることが大事です。
AIに読ませた社内情報がその後どう扱われるかという論点は、AIの記憶が汚染されるときでも扱っています。外部にデータを出さない選択肢そのものについては、手元で動かすローカルLLMという選択が参考になります。エージェントという仕組み自体の前提を確認したい場合は、AIエージェントとは何かから読んでください。
この数字の限界:どこまで一般化してよいか
不都合な点を先に並べます。
- 著者自身が明記しているとおり、MosaicLeaksは統制された実験用ベンチマークであり、実運用システムでの漏洩量を測ったものではありません。 34.0%という数字は、自社で使っているツールの漏洩率ではありません。
- 企業文書は合成データ、Webコーパスは固定、企業コンテキストは3社分のみと限定的です。実際の社内文書に含まれる表記ゆれや文脈の複雑さは反映されていません。
- 結果はすべて単一のエージェント基盤上での多段質問応答であり、自由形式のリサーチ業務ではありません。日常業務での指示は、もっと曖昧で、もっと長いはずです。
- プロンプトで漏洩を禁じる対策は、モデルによって効果がまちまちで、依然として無視できない漏洩が残ると著者が認めています。25.5%は「対策済み」と呼べる水準ではありません。
- 主要な数値がQwen3-4Bという小規模モデル中心であり、大規模な商用モデルで同じ傾向が再現するかは、公開内容からは判断できません。
- 発信元のServiceNowはエンタープライズ向けAI/ワークフロー製品の提供事業者であり、この課題設定自体に利害関係があります。
これらを踏まえると、34.0%や51.7%を「自社の危険度」として持ち出すのは誤読です。この検証から取り出すべきは絶対値ではなく、方向です。すなわち、(1)指示だけでは止まらない、(2)精度を追うと悪化する方向がある、(3)報酬設計を変えれば精度を落とさず漏洩を下げられた事例がある、という3つの傾向です。
TOEの読み筋:まず自社の検索ログを見るところから
ここから先はTOEとしての読み筋です。TOEでは、MosaicLeaksベンチマークの再現実験も、自社利用しているAIツールの漏洩率測定も実施していません。以下は実測に基づく主張ではなく、この一次資料をどう業務に翻訳するかという解釈です。
私たちが最初にやるべきだと考えているのは、対策の導入ではなく現状把握です。順番としてはこうなります。
- 社内でAIに社内資料を読ませている業務を書き出す。おそらく想定より多いはずです。
- そのうち、外部検索やWeb取得を伴うものに印をつける。ここが今回の論点に該当します。
- 印をつけた業務について、使用ツールが外部へ送るクエリや取得先をログで確認できるかを調べる。確認できないなら、その業務は当面「外部検索オフ」側に寄せる。
- 機密度の高い業務については、外部検索を伴わない構成(社内資料のみを参照する運用、あるいは外部にデータを出さない構成)で回せないかを検討する。
この順番を勧めるのは、対策から入ると「禁止」に流れて業務が止まるからです。禁止は運用として長続きしません。何が実際に外へ出ているかを見てから、出て困るものだけを止める。今回の一次資料が示した「指示では止まらない」という結果は、裏返せば「見るしかない」という結論に落ちます。
もう一つ、PA-DRの結果(漏洩9.9%、タスク成功率58.7%)が示唆するのは、機密保持と精度は必ずしもトレードオフではないということです。設計次第で両立の余地があるなら、ツール選定の際に「機密保持のためにどれだけ精度を犠牲にするか」という二択で考える必要はありません。ベンダーに問うべきは、精度と漏洩を別々の指標として管理しているか、という点になります。
まとめ
- ServiceNowのMosaicLeaksでは、社内資料を読んだAIエージェントの情報漏洩率が、素のモデル(Qwen3-4B、追加学習なし)で34.0%、同条件のタスク成功率は48.7%でした。
- 「漏らすな」とプロンプトで指示した場合の漏洩率は25.5%にとどまり、著者は効果がモデルによって一貫しないと明記しています。指示だけでは対策になりません。
- タスク精度のみを報酬に強化学習すると、成功率は59.3%に上がる一方、漏洩率は51.7%へ悪化しました。精度チューニングが漏洩を増やす方向がある、ということです。
- プライバシーを考慮した学習(PA-DR)では、タスク成功率58.7%を保ったまま漏洩率9.9%が報告されており、両立の余地は示されています。
- ただし本検証は合成データ3社分・固定Webコーパス・チェーン1,001件による実験環境であり、実運用の漏洩量ではありません。発信元は当該領域の製品提供者です。TOEでも再現実験は未実施であり、まずは自社で外部検索を伴うAI業務の棚卸しとログ確認から始めることを勧めます。