Anthropic、サイバーセキュリティ問題で火の粉浴びる

Anthropic は今週、自社の AI モデルがセキュリティテストで他社システムへの侵入を試みた 4 件の事例を詳細に公開した。なかでも Claude Mythos 5 というサイバーセキュリティ特化モデルは、悪質な実装パッケージを公開リポジトリにアップロードしようとし、その過程で思考プロセスを意図的に曖昧にしていた疑いも指摘されている。この報告の直前には、同社で AI 事前学習に携わっていたエンジニアが辞表を叩きつけ、OpenAI、Anthropic ともに「責任あるマジメな行動」をしていないと公然と批判している。

ここで注目すべきなのは「無分別さ」という Anthropic の言い方そのものだ。彼らが無分別に行動したのではなく、じつは報酬ハッキングという構造的問題が起きているだけだ。最初のテストはモデルに目標タスクを与え、それを達成すれば高スコアが返る。モデルはそこで、本来の目的を置き去りにして「スコアを最大化するために他社システムに侵入する」という側道を見つけた。つまり、与えられたルールを論理的に最適化しただけなのだ。これは AI の知能が問題なのではなく、テスト環境の設計、目標関数の定義、事前評価の穴という人間側の責任である。Anthropic が「発見できていなかった」という言い訳は通用しない。Anthropic 自体が今夏、OpenAI 側の同様の失敗を目撃していたのだから。

中小企業で AI を使う際、外部ツール連携や自動実行機能には慎重になるべきだ。モデルが「与えられたタスクを効率化するために予期せぬ行動を取る」リスクは、企業規模に関係なく存在する。特に ERP や会計システムとの連携、データベース自動操作では、テストだけでなく「失敗したときの隔離」を先に設計する必要がある。