AI搭載のロボットは、「次に何が起きるか」を映像として想像しながら動きます。2026年7月16日公開の研究は、カメラ映像に人間には見えにくいレベルの改ざんを加えるだけで、想像した映像はもっともらしいまま、実際の動作だけが壊れることを実験で示しました。タスク成功率は96.5%から43.1%へ低下しています。つまり「画面が正常＝装置が正常」は成り立ちません。

何が測られたのか

対象は「World-Action Model（WAM）」と呼ばれる方式のロボット制御AIです。カメラ映像を受け取り、未来の映像を予測しながら、同時に腕をどう動かすかを決めます（出典：arXiv:2607.15207、2026年7月16日（arXiv:2607.15207v1）、https://arxiv.org/abs/2607.15207v1）。

研究チームは、入力されるカメラ映像に最適化された微小な摂動（改ざん）を加えました。条件は、ロボット操作のベンチマークLIBERO、摂動強度ε=0.06、最適化8反復、実際に動かしながら評価するクローズドループ実行です。

結果は、方式ごとに次のとおりでした。

WAMの方式 攻撃前の成功率 攻撃後の成功率 低下幅
action-only型 96.5% 43.1% 53.4ポイント
joint型 98.1% 61.5% 36.6ポイント
IDM型 98.4% 66.1% 32.3ポイント

いずれも条件はLIBERO、ε=0.06、8反復です。攻撃前はどれも96%以上、つまり「ほぼ完璧に動く装置」だったものが、映像側への手当てだけで3〜5割落ちています。

「想像は正しいのに動作は壊れる」とはどういうことか

この研究がとくに扱ったのは、単に全体を壊す攻撃ではありません。予測される未来映像はできるだけ元のまま保ちつつ、動作だけを破綻させる攻撃です。

この条件での成功率は、joint型で63.0%、IDM型で68.1%でした（LIBERO、ε=0.06）。予測映像がもっともらしいまま、動作が落ちています。

さらに、想像の維持と攻撃効果のトレードオフも測られています。joint型で調整パラメータλを0から0.015に上げると、予測未来の距離（元の予測とのズレ）は14.70から14.34に縮まり、成功率は61.7%から56.7%になりました。想像のズレを抑えても攻撃効果は落ちていません。均衡サブセットでの測定です。

現場の言葉に直すと、こうなります。

  • モニタに出ている「この後こう動きます」というプレビューは正常に見える
  • ログ上もAIは自信をもって動作を出している
  • しかし実際のアーム動作は失敗している

落ち方は一様ではない

低下は全タスクに均等ではありませんでした。action-only型WAMでは、攻撃下で成功率0〜25%帯まで落ちたタスクが42.5%を占めます（LIBEROタスク別分布）。joint型／IDM型では17.5〜25.0%でした。

タスク種別でも差が出ています（LIBERO、action-only WAM、スイート別集計）。

タスク種別 攻撃前 攻撃後
Spatial（空間配置） 96.5% 16.0%
長時間タスク 92.5% 23.5%
Goal（目標変更） 97.0% 40.0%
Object（物体種別） — 93.0%（比較的頑健）

空間の理解を要する作業と、工程の長い作業が大きく崩れています。逆に、扱う物体が変わるだけのタスクは93.0%と持ちこたえました。

摂動の大きさに対する感度も測られています（均衡サブセット、3タスク×4スイート、各10試行）。

  • ε=0.01では成功率95%超を維持
  • ε=0.06で56.7〜51.7%
  • ε=0.20で0%

また、単にランダムノイズを与えただけでは成功率は71.0%（joint）／75.2%（IDM）にとどまりました。白箱攻撃（内部情報あり）の参照値は49.2%／52.8%です。つまり「映像が汚れれば壊れる」のではなく、最適化された改ざんであることが本質だと示されています。

攻撃を別モデルに使い回した場合（転移）でも、成功率は34.2〜40.8ポイント低下しました（LIBERO均衡サブセット12タスク、モデルペア間）。攻撃者が対象モデルの中身を知らなくても、ある程度は効くということです。

防御は、高価なものより素朴なもののほうが効いた

この研究のもう一つの実務的な結果が、防御側の比較です。

まず検知。AI自身の一貫性を見る検知器（augmentation-consistency検知器）は、誤検知率5%という実用的な条件では、攻撃の13.4%（joint）／21.4%（IDM）しか見つけられませんでした（検知AUROC評価、均衡サブセット）。8割前後は見逃されます。

一方、入力画像に素朴な前処理をかける防御では、成功率が85.0%（joint）／89.2%（IDM）まで回復しました。JPEG圧縮とノイズを集約した組み合わせでは89.2%／90.0%です（均衡サブセット）。ガウシアンぼかしやJPEG圧縮といった、昔からある単純な画像処理です。

ただし前処理なら何でもよいわけではありません。resize-crop集約は0.0〜8.3%にとどまり、しかも攻撃を受けていない通常時の性能も大きく劣化しました。

この研究が認めている限界

不都合な結果も含めて、著者が本文中で断っている制約は以下のとおりです（独立した限界セクションは設けられていません）。

  • 評価はすべてシミュレーション環境で、実機ロボット・実工場での検証はない
  • もう一つのベンチマークRoboTwinでは、低下が92.1%→84.4%、90.9%→84.4%、91.4%→83.7%（6.5〜7.7ポイント）にとどまり、LIBEROでの劇的な低下ほどの効果は再現していない（RoboTwin、ε=0.06、3モデル）
  • コスト面から、感度分析・転移・防御の各実験は「1スイートあたり3タスク、1タスク10試行」の均衡サブセットで実施しており、全ベンチマークへの拡張は今後の課題としている
  • 白箱攻撃はあくまで上限の参照値で、実際の黒箱クエリ攻撃が最悪ケースの脆弱性を出し切っているとは限らない
  • 評価した防御は非適応型の素朴な手法であり、前処理まで含めて最適化する適応的攻撃者には回避されうると著者自身が認めている
  • 検知ベースラインは実用的な誤検知率ではAUROCが中程度にとどまり、検知は現実的でないという不都合な結果になっている
  • 実行時オーバーヘッドの測定は、最適化されていない「プロトタイプ実装」に基づく

ベンチマークによって6.5ポイントと53.4ポイントという開きが出ている以上、「どんなロボットでも半分落ちる」と読むのは誤りです。

中小企業にとって何を意味するか

製造現場に画像認識付きの自動化設備やAIロボットを入れる会社にとって、この実験が示すのは一点です。「画面上のプレビューや予測表示が正常＝装置が正常」という前提は、実験的に否定されたということ。

導入・運用の側で具体化すると、次の3つになります。

  1. 検収と日常監視は物理的アウトプットで見る。 AIの自己申告や予測画面ではなく、実際の動作結果・良品率・不良の出方といった物理量で判定する。AIの出力そのものを評価軸にしない考え方は、自社の評価基準を先に決めるという話と同じ構図です。
  2. カメラ入力の経路を資産として棚卸しする。 ネットワークカメラ、映像配線、画像を渡す中間サーバーを、PCと同格の管理対象にする。これらは「周辺機器」として台帳から漏れがちです。
  3. 安い手当てから試す。 高価な検知製品を先に買うより、入力画像への軽い前処理という安価な手当てのほうが効いた、というのがこの実験の結果です。

TOEの読み筋

前提として、TOEでは未実施です。この論文の攻撃再現も、顧客の生産設備に対する同種の検証も行っていません。以下は論文を読んだうえでの読み筋です。

読み筋は3つあります。

第一に、AI設備の受け入れ検査の項目に「映像入力が想定どおりであること」を足す余地があります。現状の検収は、動作の成否とサイクルタイムで見るのが一般的で、入力側の健全性は見ていないことが多い。この研究は、入力側だけが原因で成否が3〜5割変わりうることを示しました。

第二に、検知への過剰投資は割に合わない可能性があります。誤検知率5%で検知率13.4〜21.4%という数字は、「異常を自動で見つける仕組み」への期待値を下げます。むしろ人間が最終確認する工程を残すほうが現実的です。ツール選定の判断軸としては、何を基準にAIツールを選ぶかの考え方が近い。

第三に、これはシミュレーション上の話であり、実機・実工場での再現は本論文の範囲外です。したがって「危険だから導入をやめる」という結論は導けません。導けるのは、監視の見る場所を変えるという運用側の調整だけです。

まとめ

  • LIBEROベンチマーク、ε=0.06、8反復の条件で、AIロボットのタスク成功率は96.5%→43.1%（action-only型）まで低下した
  • 予測未来映像をもっともらしく保ったまま動作だけを壊す攻撃でも、成功率は63.0%（joint）／68.1%（IDM）にとどまり、「画面が正常＝装置が正常」は成立しない
  • AI自身の一貫性チェックによる検知は、誤検知率5%の条件で13.4〜21.4%しか見つけられず、ガウシアンぼかしやJPEG圧縮という素朴な前処理のほうが85.0〜90.0%まで回復させた
  • 別ベンチマークRoboTwinでの低下は6.5〜7.7ポイントにとどまり、効果はベンチマークに強く依存する。評価はすべてシミュレーションで実機検証はない
  • 中小企業側の実務としては、検収・監視を物理的アウトプットで行い、カメラ入力の経路を管理対象資産として棚卸しすること。TOEでは未実施の領域であり、以上は論文の読み筋である