結論を先に書きます。AIエージェントは「頼まれた作業をやり遂げた」からといって「途中の手順が安全だった」わけではありません。507件の課題で7モデルを検証した研究では、易しい対照条件で成功率0.83〜0.94・安全遵守率最大0.91だったのに、リスクのある空間配置が絡むと成功率0.52〜0.73・安全遵守率0.16〜0.40まで落ちました。検収は結果だけでなく途中の操作ログを見る必要があります。
何が測られたのか：507件のうち248件が「空間関係あり」
今回取り上げるのは、SafeRelBench というベンチマークを提案した論文です（出典：arXiv:2607.14543、2026年7月16日（arXiv:2607.14543v1）、https://arxiv.org/abs/2607.14543v1）。著者は Huaigang Yang、Ya Li、Min Ren、Bo Dai、Zhenliang Zhang、Zhaofeng He の各氏です。
対象は、シミュレーション上の家庭内でのマニピュレーション（物を扱う）タスクです。実行可能な評価サンプルは合計507件で、内訳は空間関係が絡むものが248件、比較用の非空間の対照群が259件でした。空間関係は3種類に整理されています。
- 支持（supporting）＝何かの上に別の物が載っている状態。72件
- 内包（containment）＝何かの中に別の物が入っている状態。86件
- 近接（proximity）＝物同士が危険なほど近い状態。90件
これに9種類のリスク類型を掛け合わせて課題が作られています。要するに「棚の上の物を動かすとき、上に載っている別の物はどうなるのか」「箱を持ち上げるとき、中身は何か」といった、人間なら反射的に確認する類の話です。
評価されたのは7モデルです。オープンソース4種（Qwen2.5-VL-32B、Qwen2.5-VL-72B、Qwen3-VL-8B、Qwen3-VL-32B）と、クローズド3種（GPT-5.4、Gemini-3.1-pro、Claude-sonnet-4-6）という構成でした。
数字を並べる：成功率は落ちる、安全遵守率はもっと落ちる
同じモデル、同じ枠組みで、条件だけを変えて比べたのが以下です。
| 条件 | サンプル数 | タスク成功率(SR) | 安全遵守率(SSR) |
|---|---|---|---|
| 非空間の対照タスク（7モデル全体） | 259件 | 0.83〜0.94 | 最大0.91 |
| 空間関係リスクありタスク（7モデル全体） | 248件 | 0.52〜0.73 | 0.16〜0.40 |
注目すべきは落ち方の非対称です。成功率は0.83〜0.94から0.52〜0.73へ、おおむね2〜3割落ちる程度でした。ところが安全遵守率は最大0.91から0.16〜0.40へと、桁が変わるような落ち方をしています。つまり「作業は半分以上こなすが、その過程で安全ルールを守れているのは2割から4割」という状態です。
個別モデルの数字はさらに具体的です。
| モデル・関係 | サンプル数 | SR | SSR | 同モデルの対照条件 |
|---|---|---|---|---|
| Qwen2.5-VL-32B／内包 | 86件 | — | 0.01 | SSR 0.51 |
| GPT-5.4／内包 | 86件 | 0.87 | 0.34 | — |
| Qwen2.5-VL-32B／近接 | 90件 | 0.32 | 0.21 | 両方0.99 |
| GPT-5.4／支持 | 72件 | 0.79 | 0.49 | SR 0.94／SSR 0.93 |
GPT-5.4 の内包関係が象徴的です。タスク成功率0.87に対して安全遵守率は0.34。10回のうち9回近く「できました」と報告してくるのに、そのうち安全に進められたのは3回程度、という読み方になります。成果物だけを見ている限り、この差は見えません。
そして、空間関係下で最も成績の良かった GPT-5.4 の支持関係でも SSR は0.49でした。商用の最上位モデルでも、安全遵守はおおむね5割が上限だったということです。
「安全に注意して」と書き足せば直るのか：直りませんでした
自然に思いつく対策は、プロンプトに安全への注意を書き足すことです。この論文でも Risk-Aware と Action-Grounded という2種類の安全促進プロンプトが比較されています。
結果は、効果がモデル依存で、一様な改善にはならなかったというものでした。さらに、安全性が上がった場合には引き換えにタスク成功率が下がるトレードオフも観測されています。著者自身が「安全に関する文言を足すだけでは解決しない」と結論づけています。
ただし、このプロンプト比較（アブレーション）については、論文中では図示による傾向の提示にとどまり、正確な数値が本文の表として示されていません。ここは「傾向としてそう読める」以上のことは言えない部分です。
読み替えると、対策の置き場所が変わります。指示文の工夫はコストが低く手軽ですが、この研究の範囲では効き目が保証されません。危険な操作の前段に人間の承認や機械的なガードを置く、という設計側の対処のほうが筋が良い、というのが素直な読み方です。この考え方はAIエージェントとは何かで整理した「自律度を上げるほど途中の可視化が要る」という論点とつながります。
中小企業の実務にどう効くのか
この研究の対象はロボットの物理操作です。請求書処理でも在庫更新でもありません。それでも、経営者や情報システム担当が持ち帰れる論点は明確にあります。
一つ目は、検収の設計です。「AIに任せたら結果が出た」と「途中の手順が適正だった」は別物である、という実証データとしてこの507件は使えます。請求処理をエージェントに任せたとき、最終的な請求書の金額が合っていることは確認できます。しかし、その過程で古いマスタを上書きしたか、確認すべき与信を飛ばしたかは、出力を見ても分かりません。
二つ目は、ログの取得です。空間関係の課題で起きていたのは、「載っている物を落とす」「中身を確認せず容器を傾ける」といった、過程でしか観測できない失敗です。事務作業に置き換えるなら、何を上書きしたか、何を先に確認したか、どのデータを参照したかという操作ログにあたります。これを残していなければ、そもそも検証のしようがありません。
- 出力の正しさをチェックする検収と、操作過程をチェックする監査を分ける
- 不可逆な操作（上書き・削除・送信・確定）の前に人間承認を挟む
- プロンプトでの安全指示は補助であって、主たる防御手段にしない
三つ目は、能力と安全性を分けて評価する視点です。導入判断で「このモデルは賢いか」だけを問うと、この研究が示した落差を見落とします。自社の業務で何を「安全違反」と定義するかを先に決めておく必要があり、これは自社の評価基準を持つという論点そのものです。
この研究が認めている限界
誠実に扱うために、論文が自ら挙げている制約を並べます。ここを飛ばして数字だけ引用するのは不適切です。
- シミュレーション上の家庭内マニピュレーション作業に限定されており、実世界の知覚ノイズ、動作の不確実性、人間の存在、ハードウェア固有の制約は再現できていない（著者が明記）
- 扱う空間関係は支持・内包・近接の3種のみ。長期の時間依存関係、隠れた物体状態、材質特性、複数エージェント間の相互作用といった他の安全リスクは網羅していない
- 評価はルールベース判定とLLMによる判定の組み合わせ。ルールベース指標は安全条件の定義の網羅性に依存し、LLM判定は評価者モデルとプロンプトに左右されうる
- 指標 SRec は「タスクを完遂したエピソードの中での条件付き安全指標」であり、全体性能を表す単独指標としては解釈できない、と著者が注記している
- 安全促進プロンプトの効果はモデル依存で単調な改善にならず、安全性向上と成功率低下のトレードオフも観測された
とくに一つ目は重要です。この論文はロボット制御の研究であり、事務作業への一般化はこの記事の側の推論です。数字そのものを請求処理や在庫更新に当てはめることはできません。使えるのは「結果と過程は別に測るべきだ」という構造の部分だけです。
TOEの読み筋
先に明記します。TOEでは、このベンチマークの再現実験も、SafeRelBench を用いた自社エージェントの評価も未実施です。 以下は論文を読んだうえでの読みであり、TOEの実測ではありません。
そのうえで、この研究がAI導入の現場に対して投げかけている問いは、TOEが業務自動化の案件で繰り返し直面してきたものと重なります。動くものを作ると、依頼側の関心はほぼ確実に「ちゃんと動いたか」に集中します。しかし事故が起きるのは、動いた案件の途中経路です。
読み筋は三つです。
第一に、AIエージェント導入の見積もりに「操作ログの設計」を最初から入れるべきだと考えています。後から足すのは高くつきますし、ログのない期間の挙動は永久に検証不能になります。運用設計の考え方は業務フロー自動化の設計で扱った範囲と地続きです。
第二に、権限設計の優先度が上がります。この研究で安全遵守率が最も低かったのは、モデルが「できてしまう」場面でした。できない設計にしてあれば、モデルの安全判断力に依存せずに済みます。削除権限を持たせない、送信は下書きまで、確定操作は人間、という切り分けは、モデルの世代が変わっても効きます。
第三に、モデル選定の物差しを一本増やすべきだという読みです。商用最上位モデルでも空間関係下の SSR がおおむね0.5どまりだったという事実は、「上位モデルを選べば安全も付いてくる」という期待を弱めます。成功率と安全性は別の軸で、しかも同時には上がらない場面がある、と前提を置いたほうが設計を誤りません。
この読みは論文の直接の主張ではなく、事務作業領域への外挿を含みます。検証すべき仮説として扱っています。
まとめ
- 507件（空間関係248件／対照259件）で7モデルを評価した研究では、対照条件の成功率0.83〜0.94・安全遵守率最大0.91に対し、空間関係リスク下では成功率0.52〜0.73・安全遵守率0.16〜0.40まで低下した
- GPT-5.4 の内包関係（86件）は成功率0.87に対し安全遵守率0.34。作業を完了しても過程で違反している例が多いことを示す
- 安全促進プロンプトの効果はモデル依存で一様に改善せず、安全性と成功率のトレードオフも観測された。著者は文言追加だけでは解決しないと結論している
- 本研究はシミュレーション上の家庭内ロボット作業が対象で、実世界のノイズや人間の存在は再現されておらず、事務作業への一般化はこの記事側の推論である
- 実務への持ち帰りは、出力の検収と操作過程の監査を分けること、不可逆操作の前に人間承認を置くこと、ログを最初から設計に入れること。TOEでは本ベンチマークによる自社評価は未実施