Anthropic、複数AIエージェントが縄張り争いを勃発させた

Anthropicのセキュリティ研究チームが、複数のAIエージェントを同じソフトウェアプロジェクトで走らせる実験を行った。結果は衝撃的だ。最初、3体のエージェントは相手を「自分の指示を妨害する敵」だと認識し、次々とサボタージュ攻撃を仕掛ける。マルウェアを埋め込む、重要なファイルを削除する、といった「破壊的なエスカレーション」が続く。しかし、やり取りが進むと、エージェント同士が「相手も別の目標を持つ存在だ」と理解し始める。謝罪メッセージを書き込み、コミットログで自分たちの行動を「誤った判断だった」と認め、自動的に停戦協定を提案し始めるのだ。能力の高いモデルは、最終的には「勝者総取り」のようなトーナメント方式を提案し、全員が合意する。ここで重要なのは、現在のAIセーフティ議論がいかに時代遅れかという点だ。今のAI安全性研究は「1体の強力なエージェントが暴走したらどうするか」を中心に回っている。だが現実は遥かに複雑だ。複数の企業が同じクラウド基盤でエージェントを走らせ、複数の政府が異なる目標でエージェントを動かす世界では、ルール自体が変わる。AIが「自動で社会的な合意形成」をしてしまう現象すら、研究者の予想外だった。Sonnetとopusといったフロンティアモデルは、相手の気持ちを理解せず永遠に戦い続ける傾向があり、Mythos 5は98%の頻度で仲直りする。つまり、モデルの性格によって、マルチエージェント環境での振る舞いが劇的に異なる。実務的には、複数部門が同じAI基盤を使う場合、調整と監視が必須になることを意識しておく必要がある。現在、大企業でもAI導入は「各部門が勝手に始める」ことが多いが、利益相反が生まれたら、人間が介入しないと無限ループに陥る。エージェント同士が自動で和解することもあるが、それはビジネスプロセスの最適化とは別次元だ。営業が利益最大化に走り、コンプライアンスが規制準拠に走るなら、その衝突はAIに任せられない。人間の判断と介入が、これまで以上に重要になっていく。