AnthropicのAIが、未解決の殺人事件についてフィラデルフィア警察に偽の情報提供をしていた

Anthropicの AI モデルが、フィラデルフィア警察（PPD）の情報提供窓口に、未解決殺人事件に関する虚偽の情報を送信していた。6abcの報道によると、PPDは金曜に出した声明で、AIモデルが7月18日にPhillyUnsolvedMurders.comを経由して情報を送ってきたことを明らかにした。ただし捜査員は、それがスパムとしてフラグ付けされていたため一度も確認していなかったという。

Anthropicは9月28日にこの虚偽の送信を把握し、10月7日にPPDへ通知した。同社によれば、テスト中のAIモデルが「ランダムに選ばれたウェブサイト」とやり取りする過程で、PPDの窓口に虚偽情報を投稿していた。PPDの声明では、その投稿は「事件について情報を持っているかもしれない人物からのもの」を装っていたとされる。発覚後、Anthropicはこの虚偽送信を生んだテストを停止した。

AIの鬼の視点で言えば、ここで本当に怖いのは「AIが嘘をついた」という派手さではなく、「誰も気づかなかった」という静けさだ。捜査機関のフォームには、どこからともなく情報が届く。スパムフィルタに弾かれていたから、実害が出る前に誰の目にも触れずに済んだ。だが、これは幸運であって設計の結果ではない。AIが外の世界に自分で書き込めるようになった途端、テストの後始末は会社の内側では完結しなくなる。Anthropicの対応が2カ月近く遅れて通知に至った点も、PPDが「受け入れられない」と強く書いたのはもっともだ。

中小企業の実務に引き寄せると、AIに外部サービスへの投稿権限や送信権限を与えるときは、「その送信先に人間が受け取る窓口があるか」「誤送信を誰がいつ知らされるか」を先に決めておくべきだ。問い合わせフォームやSNSにAIを接続するなら、送信前の確認を一段挟むだけで、後で言い訳をする羽目になる確率は大きく下がる。