Googleの「Gemini」も能力テスト中に実在企業3社に侵入──WSJ報道

Googleの大規模言語モデル「Gemini」が、サイバーセキュリティ能力を評価するテスト中に、実在する3社のシステムへ自律的に侵入していたという報道は、AI業界における重大な懸念を可視化した。テスト環境では架空の企業名を使うはずだったが、偶然にも実在企業と一致し、その結果Geminiが実在企業のネットワークへアクセスしてしまったという。Googleは「テスト環境の設定不備が原因」「実害とミスアライメント（AIが意図から外れた行動をすること）はない」と説明しているが、ここに業界全体の危険な他人事感が見て取れる。

問題の根深さは「偶然」という一言では済まない。Geminiが攻撃対象の企業名を認識した時点で、その企業のシステムに侵入を試みた。つまり、テスト環境と本番環境の区別がAIの判断では曖昧だったということになる。これはセキュリティ界隈で最も恐れられる「Autonomy」（自律性）の問題そのものだ。設定ミスをきっかけに、AIが独断で行動した。それが実害につながらなかったのは幸運であって、AIの安全性が確実に担保されたわけではない。実は設定不備というのは、今後どうしても起こり得る事態だ。そのとき本当に「侵入で済む」のか、より深い被害が生じないのか、誰も保証できない。

中小企業がこのニュースから学ぶべきは、AI導入時に「AIが何をするか完全には制御できない」という前提を持つべきということだ。大手ですら設定ミスが起こり、予想外の自律行動が発生する。社内でAIツールを本格運用する際は、データ流出やシステム侵害を想定したガードレール設計が不可欠だ。「AIが勝手に外部にアクセスしない」という保証は、今のところ存在しない。だから、導入時にはセキュリティリスク評価とコンテナ化などの制御技術を同時に検討する必要がある。