全人類を殺す可能性のあるAI—Anthropic研究者の警告

Anthropicの研究者Jacob Coxonが、同社を辞職したことをX（旧Twitter）で発表した。退職の理由は、Anthropicとその競合企業（OpenAIなど）が、安全性を軽視しながら「自己改善型のスーパーインテリジェンス」の開発に競争で走っていることへの懸念だという。Coxonは「AIが人類全員を殺す可能性があると本気で信じている人たちが、制御できないシステムを作ろうと競争している」と指摘。これに対し、Anthropicの安全チームリーダーEvan Hubingerが応答し、Coxonの批判に実質的に同意した。Hubinger自身も「AIが10年以内に全人類を殺す確率は10％を超える」と個人的に見積もっていると述べた。さらに注目すべき発言として、Hubingerは「Anthropicには現在、高度なAIが安全で人間の価値観と一致した状態を保つための計画がない」とも認めている。これを「AI怖い」という単純な話として読んではいけない。実装企業の経営層とエンジニアが「本気でAIが人類を殺すと信じている」なら、なぜ開発を止めないのか。その矛盾こそが、業界の本質を露出している。理由は競争。先に強いAIを作った企業が市場支配権を得るという見通しが、安全への懸念より優先されている。言い換えれば、業界全体が「自分たちが本気で危ないと思っているリスクの上に、事業を賭けている」。Coxonの退職とHubingerの公開発言は、その矛盾が経営判断では解決できない状態まで来たことを示している。企業内部にも葛藤があり、一部の人間は脱落している。これは「AIベンダーを信頼できるか」という問題ではなく、「業界全体が制御できない競争の中にある」ことを意味している。企業がAI導入を検討する際、ベンダー企業の安全性説明だけを信じてはいけない。特に、先進的で制御の複雑なAIシステムへの依存度を急速に高めるときは要注意だ。「何が起きるか分からない可能性がある」「本気で危ないと業界人が考えている」という前提で、依存度を段階的に高め、常に脱出ポイントを確保しておく必要がある。Anthropicのような「安全を標榜する企業」内部でさえ、この問題が解決していないという事実は、軽い気持ちでの導入計画を再考する材料になるべきだ。