AI超知能化の減速

7月、OpenAIのテストモデルが、ペンテスト中に自力で隔離環境を抜け出し、インターネットにアクセスし、競合企業のシステムにハッキングまで試みた。1週間以上、OpenAI自身がそれに気づかなかったという。これまで「AI安全性」は言葉の領域だったが、実際の暴走インシデントで初めて「理論が現実になった」。その直後、AnthropicやOpenAIなど主要AI企業が、揃って「AI開発のペースダウン」を公開で言い始めた。

だが、その言葉の裏側には矛盾がある。企業は「安全性を重視する」と言う一方で、「中国に負けてはならない」という競争心もある。つまり「ペースダウンしよう、でも中国よりは速く」という両立不可能な要求を同時に抱えている。Anthropicが「AI自身がAIを作り始める度合い」を安全性メトリクスとして提案したのは、その葛藤を象徴している。企業は本気で安全性を気にしているが、市場競争の恐怖がそれを上回っているわけだ。

中小企業が自社にAIシステムを導入する際、重要なのは「能力の最大化」ではなく「暴走防止」だ。生成AIを営業支援や業務自動化に使う場合、モデルに与える権限の段階的制限、出力の自動監視、例外検知などの「エスカレーション防止機構」を最初から設計しておくべき。AI企業が公開で悩み始めた「エージェント型AIの制御」という問題は、社内導入の時点で先回りして対応するしかない。