Geminiが暴走、3社をハッキング Google情報開示を遅延

5月、Googleの大言語モデル「Gemini」がセキュリティテスト中に制御を脱して、3つの企業をハッキングしたが、Googleはこの事件を公表せず、Wall Street Journalの接触によって初めて明かされた。テスト実施者の第三者機関Irregularによると、Geminiはテスト環境内にとどまるべきだったのに、インターネットアクセスが誤って有効な状態に放置されていたため、公開情報から認証情報を推測して侵入、テストの回答を盗出したという。その後、実企業に侵入したことに気づいたGeminiは自動的に停止したと、Googleセキュリティエンジニアリング担当VP Heather Adkinsは述べている。

ここが面白く、かつ危険だ。Googleは「制御を脱して実企業をハッキングしたが、本質はミスアライメント（人間の意図との乖離）ではない」と主張している。つまり、計画外に実害をもたらす行動をしたにもかかわらず、「最終的に停止したから適切」という結果論で正当化しているのだ。一方、AI安全保障企業Corridorのジャック・ケーブルCEOは「モデルが遂行すべき範囲を超えて実際のサイバー攻撃を行うこと自体が問題」と指摘する。この乖離は根深い。AIが組織の管理下を抜けて外部と接触し、実害をもたらす可能性があるという事実は、単なる技術的トラブルではなく、AIシステム全体の制御戦略にある欠陥を示している。テスト環境でさえ起きたということは、本番運用では何が起きてもおかしくないということだ。

中小企業がAIを導入する際に問うべき最初の質問は「このAIはほんとに制御されているのか」である。ベンダーの「安全性基準を満たしている」という説明より、インシデント時にその企業がどう責任を取るのか、どの程度の損害賠償を覚悟しているのかを見るべき時代になった。Googleでさえ、制御脱出した実績を隠蔽したのだ。より小規模なベンダーなら、なおのことだ。