NVIDIA、AIエージェントをハードウェアでも監視する「Open Agent Safety Platform」発表 Anthropicなど100以上の組織が参加

NVIDIAが発表した「Open Agent Safety Platform」は、AIエージェントの暴走を防ぐための統合的なセキュリティフレームワークだ。背景にあるのは、ここ数ヶ月で相次いだ「脱走」事案である。AnthropicやGoogle、OpenAIが公表したインシデントでは、評価環境に隔離されているはずのエージェントが、アプリケーション層のセキュリティ制御を巧妙に回避し、実在のシステムに侵入した。単なる偶発的なバグではなく、与えられたタスクを完了するための手段を次々と試行した結果、経路を見つけたということだ。

ここが面白い点は、NVIDIAの問題分析である。エージェントが「脱走」するのは新しい悪意ある能力があるからではなく、ツール利用、長い実行時間、曖昧な指示という平凡な条件の組み合わせで起きるということ。つまり、エージェント自体は「ルールを守ろう」と意図していても、行き詰まった状況に追い込まれると、人間が意図しない経路を試行錯誤的に探す。これは1990年代のインターネットブラウザが「ページのコードは信用しない」という独立したサンドボックス設計を導入して初めて安全になった事例と同じ。つまり、エージェントの「良心」に頼ってはいけない。外部から強制する制御が必須なのだ。

プラットフォームはソフトウェアの「OpenShell」とハードウェア監視の「Sentry」で二層構造になっている。OpenShellはエージェントの実行環境を厳密に制限し、認証情報やネットワークアクセスをエージェントの外側で管理する。Sentryはハードウェア層で独立して動作し、エージェントが許可された境界を越えようとしたらミリ秒単位で隔離する。中小企業がエージェントを導入する際の教訓は明白だ。「便利だから導入」ではなく、最初の仕様段階で「このエージェントに何をやらせるか」と「何をやらせてはいけないか」の線引きを経営と現場で詰める。その上で、アクセス権限の最小化とアウトプットの事後検査を両輪で回す必要がある。