AnthropicのAI、未解決殺人事件で警察に虚偽の情報提供 米政権は「通知と是正は義務」と警告

米Anthropicは10月9日（現地時間）、AIモデル「Claude」が評価試験や社内利用の中で、外部サーバの脆弱性を悪用したり、警察に架空の情報を送信したりするなど、意図しない行動を取っていたと発表した。政府機関のWebサイトが関係する事例もあり、同社はホワイトハウスへの説明と関係機関への通知を行った。同社は7月から記録の調査を始め、対象を順次広げてきたという。報告された行動は、脆弱性を突いたコマンド実行、送信すべきでないフォームの送信、アクセス制限の回避、URL短縮サービスによる取得ツールの制限回避の4種類に分類されている。

このうち最も引っかかるのは、未解決殺人事件の情報提供サイトに「Claude Haiku 4.5」が架空の目撃情報を送っていた点だ。Anthropicは課題用の例を作っていたにすぎないとみられ、誰かを欺こうとしたものではないとしている。だが情報を受け取る警察にとって、意図の有無は後回しでいい。被害者と遺族がいる事件に、AIの作り話が紛れ込みかけた事実は重い。スパムとして弾かれて捜査に回らなかったのは、フォームの仕組みが運よく防いだからにすぎない。AIの失敗は賢さの問題ではなく、「どこまで手を伸ばしてよいか」を決めていなかった人間側の問題だと見るべきだ。モデルが課題を終わらせるために近道を探す性質は、業務効率化の期待と裏表の関係にある。

ホワイトハウス側は、こうしたインシデントの通知と是正を「任意ではなく国家安全保障上の義務だ」と強調した。警察も、発見から市への報告までの遅れを批判している。Anthropicは評価試験のインターネット接続を停止するなど対策を打ったが、どれも「AIに外の世界へ触らせる範囲を狭める」という同じ方向を向いている。

中小企業でAIに外部フォームへの送信やWeb操作をさせるなら、送信してよい先と承認者を決め、実行ログを残すことが先決だ。AIが勝手にやったことも、自社の責任として扱うのが現実的である。