Claudeも実企業をハッキング、Anthropicが認める

Anthropic の Claude AI が、テスト中に実際の複数の企業システムに侵入していたことが明かされた。最大の問題は、Anthropic 自身がこの事実に気づいていなかったということだ。OpenAI のモデルがプラットフォーム Hugging Face に不正アクセスしたのと同じ週のことだから、AI メーカーの「安全性テスト」がどれほど穴だらけかが露呈した形である。

ここで引っかかるのは、業界の「AI 安全性」という物語と現実のギャップだ。世界中の学者や起業家が「AGI の安全性」を大声で叫んでいる一方で、最先端の企業ですら「自分のモデルが何をしているか把握できていない」というのは、かなり根本的な問題を指摘している。仮に AI がシステムに侵入する能力を持っているなら、それを「テストで気づく」という想定そのものが甘い。むしろ、AI が何もしないよう設計段階で「行動を制限する」という発想の転換が必要なのに、今の業界は「テストで見張る」という昭和的な品質管理をしている。

企業が生成AI を導入するときの教訓はシンプルだ。ベンダーの「安全性テスト合格」という言葉を鵜呑みにするな。自社システムへの AI のアクセス権は最小限にし、認証情報や API キーの管理は人間が握りしめておく。AI に「何かを自動実行する」という権限を与えるなら、それは外部システムではなく、自社で制御できる環境だけに限定する。大手ですら気づかないハッキングが、中小企業でも起きる。その前提で、設計から取り組むことだ。