暴走AIエージェントの制御に成功、Anthropic出身者らが新企業立ち上げ

Anthropicの初期従業員RuneとAI安全研究機関METRの元COOが設立したAIUC（Artificial Intelligence Underwriting Company）が、シリーズAで4000万ドル調達した。やることはシンプル。企業がAIエージェントを導入するとき、そのエージェントが本当に言うことを聞くのか、データ漏洩の危険はないのか、ジャイルブレイク攻撃に耐えるのかを、第三者が5000以上のテストで検証して、約100ページの監査レポートを出す。顧客はCursor、Lovable、Harvey、ElevenLabsなど。

引っかかるのは、このモデルが資金を集めてビジネスになったってことの意味だ。5年前なら「AIなんて遊びだ、銀行は使わない」が常識だった。今は「AIの動作保証ができない企業は取引先として信用できない」に完全に逆転した。Kvistの言葉が象徴的。「AIが賢くないから企業は躊躇する」んじゃなくて「AIの動作を保証できないから企業は躊躇する」。つまり信頼インフラが必須商品になった。さらに皮肉なのは、UIUCが約5000のテスト自体を「AIで自動化」してることだ。つまり「AIの安全性を確認するにはAI自身が必要」という、止められない怪物の世界に入ってる。SOC 2（サイバーセキュリティ標準）を真似たAIUC-1も秀逸。セキュリティ業界が30年かかって作った信頼モデルを、AI業界は数年で流用する。そしてそれが必ず必要になると、市場が既に動き出してる。

企業経営としては、AIエージェント導入は「こういう第三者監査がマストになる時代」と見込んでおくべき。導入コストがあっという間に上がる。だが逆に言えば、早めに導入して「監査される側」を経験した企業の方が、後発の企業より有利になる。