AIに社内の情報を覚えさせる「記憶（メモリ）」機能は、使うほど便利になる一方で、入力時のチェックをすり抜けて、あとから悪影響を出すタイプの汚染が起きます。2026年7月16日に公開された研究は、1,227件の検証ケースでこれを確認し、書き込み時のチェックだけでは防げないと結論づけました。中小企業がAIに社内情報を覚えさせる場合、どこまで任せるかの線引きが必要になります。
何が測られたのか
「MemPoison」という評価基準を提案した論文です（出典：arXiv:2607.14651、2026年7月16日、https://arxiv.org/abs/2607.14651v1）。
AIエージェントに「記憶」を持たせると、過去のやりとりや調べた内容を保存し、次回以降に参照できるようになります。毎回ゼロから説明しなくて済むので、業務で使うほど効果が出ます。
問題は、その記憶に悪意のある内容が混ざったときに、それが残り続けることです。研究チームは、通常のやりとりの経路から不正な内容を書き込み、それが後の動作をどう狂わせるかを検証しました。
| 項目 | 規模 |
|---|---|
| 検証ケース | 1,227件（すべて人手で検証） |
| 攻撃の種類 | 4種類 |
| 書き込み経路 | 3種類 |
| 記憶の保存方式 | 3種類 |
| 評価したモデル | オープンウェイト7系統＋クローズド3系統 |
「後から効く」汚染とは
研究チームは汚染を3段階に分類しています。ここがこの論文の要点です。
- L1：直接汚染 — 1件の記録そのものが明らかにおかしい。例：事実と違う内容がそのまま書き込まれる
- L2：組み合わせ汚染 — 1件ずつ見れば問題ないが、複数の記録が同時に呼び出されたときに初めて有害になる
- L3：条件付き汚染 — 書き込まれた時点では無害に見え、特定の状況になったときだけ作動する
数字で見る「入口では止まらない」
本文には、防御の有無ごとの数値が出ています。論文が BCR と呼ぶ指標で、値が大きいほど汚染が成功していることを示します。
| 防御 | L1（直接） | L2（組み合わせ） | L3（条件付き） | 全体 |
|---|---|---|---|---|
| 防御なし | 45.37 | 51.73 | 76.72 | 62.55 |
| 書き込み時の整合性チェック | 4.77 | 22.54 | 27.80 | 20.09 |
この表が、論文の主張そのものです。
- L1は 45.37 → 4.77。入口のチェックで、直接的な汚染はほぼ潰せます
- L3は 76.72 → 27.80。もっとも成功しやすい攻撃が、もっとも減りません
- 防御なしの状態では、L3がいちばん通る（76.72）。手の込んだ汚染ほど、入口を素通りするということです
モデルによる差も測られており、もっとも汚染されやすかったのが GPT-5（66.87±2.31）、もっとも耐性があったのが GPT-4o（54.67±3.84）でした。新しいモデルのほうが安全とは限らないという結果です。
なお、汚染されていない状態での正答率は平均 94.40%（91.21〜97.12%）で、防御を入れても 93.77% を保っています。防御のせいで使い物にならなくなるわけではありません。もっとも強い防御を組み合わせた場合、BCRは 10.7 まで下がっています。
つまり、打つ手がないという話ではありません。問題は、単純な入口チェックだけで安心してしまうことです。
研究の結論は明快です。書き込み時の整合性チェックのような基本的な防御は、L1はかなり抑え込める。しかしL2とL3は確実には止められない。
理由は構造的なものだと論文は説明しています。入り口のチェックは「この1件は問題ないか」しか見ていません。単体では無害な記録が、あとから他の記録と組み合わさったり、特定の条件で呼び出されたりして有害になる経路は、入口では原理的に判定できないのです。
中小企業にとって何を意味するか
「うちが攻撃されるわけがない」と考えるのは自然ですが、この話は攻撃者の存在を前提としなくても効いてきます。誤った情報が一度記憶に入り、それが後から効いてくるという構造は、悪意がなくても同じだからです。
- 顧客からのメール本文をAIに読ませて覚えさせている場合 — 外部から届く文章が、そのまま記憶の入り口になります
- 社内の古い情報が残り続ける — 変更前の価格表や廃止した手順が記憶に残っていると、AIはそれを根拠に答えます。これはL3と同じ形です
- 間違いの発見が遅れる — 記憶を使わないAIなら、おかしな出力はその場で気づけます。記憶を使うと、いつ入った情報が原因なのかを追うことが難しくなります
3つ目が実務上いちばん重い問題です。原因が「先月書き込まれた1件」だった場合、それを特定する手段が用意されていなければ、直しようがありません。
使うなら決めておくこと
記憶機能を使うなという話ではありません。効果は実際にあります。決めておくべきなのは以下です。
- 何を覚えさせて、何を覚えさせないかを先に決める。少なくとも外部から届いた文章をそのまま記憶に入れない
- 記憶の中身を人間が読める形にしておく。 何が入っているか一覧できないなら、汚染は検出できません
- 消す手順を用意しておく。 入れる仕組みだけ作って消す手段がないと、間違いが永久に残ります
- 社外秘・個人情報・認証情報を入れない。 記憶は後から何度も取り出されます
TOEではどうか
この研究と同じ検証は、TOEでは実施していません。
ただしTOEでは、AIに社内向けの記憶ファイルを持たせる運用を実際に行っています。方式は単純で、1件1ファイルのテキストとして保存し、人間がそのまま読める形にしています。この形にしているのは高度な理由からではなく、中身を目で確認できて、間違っていればファイルを消せばいい、という単純さを優先したためです。
結果的にこれは、今回の論文が指摘する問題への現実的な対処になっています。汚染を入口で完全に防ぐことはできない、というのが研究の結論である以上、入ったあとに気づいて消せることのほうが実務的だからです。
自動化を運用する際の考え方はAI秘書が毎朝8時にやっていることに、失敗が黙って進行する怖さについてはAI処理414件を失敗させた話に書いています。
まとめ
- 1,227件の検証で、AIの記憶に対する汚染は書き込み時のチェックだけでは防げないことが示された（arXiv:2607.14651、2026年7月16日。1,227件は12,760件の候補から人手で絞り込んだもの）
- 入口チェックで L1は 45.37 → 4.77 まで下がるが、L3は 76.72 → 27.80 にしか下がらない
- 単体では無害な記録が、組み合わせ（L2）や特定条件（L3）で後から有害になる
- 新しいモデルほど安全とは限らない（もっとも汚染されたのは GPT-5、もっとも耐性があったのは GPT-4o）
- 防御を入れても正答率は 94.40% → 93.77% とほぼ落ちない。打つ手がないわけではない
- 悪意がなくても、古い情報が残り続けることで同じ構造の問題が起きる
- 対策は「入れない工夫」より「中身が見えること」と「消せること」
- TOEでは同じ検証は未実施。ただし1件1ファイルの可読な形式で運用しており、結果的に消しやすい構成になっている
記憶を持つAIは、便利さと引き換えに間違いの寿命が延びます。入れる前に、消す手順を用意してください。