AI生成の架空証人を使用した弁護士に5000ドルの罰金

ニューメキシコ州最高裁判所が、弁護士 Stephen Aarons を罰金5,000ドルとして処罰した。罪状は、ChatGPT に生成させた架空の証人と偽りの警察証言を、依頼人の殺人有罪判決の上訴文に含めたこと。Aarons は ChatGPT が「完璧な要約」を出すと思い込み、十分な事実確認をしなかった。

ここで最も恐ろしいのは、法廷という「事実が全てを決める」場所で、AI が捏造した証人を提出した、ということだ。単なるプロの失敗では済まない。AI の最も危険な特性は「知ったかぶり」できることにある。自信を持って嘘をつく。ハルシネーション（事実でない情報を事実のように出力）は、むしろ高度な技術によって、尤もらしく聞こえる。弁護士がそれを法廷に持ち込んだら、他人の人生が変わってしまう。これはテクノロジーの問題というより、組織の「査読・検証プロセス」の問題。言い換えれば、AI を使う側の人間と組織が、AI の癖を知らず、確認メカニズムを持たないまま使ってしまったということだ。

法律文書、決算報告、契約書など、事実確認が生死を分ける文書では、AI の出力を無批判に使うことは禁止に等しい。「誰かが必ず検証する」という組織設計が、AI 導入の最低条件になった時代。背景に何があるかを見ずに、速さだけを追うと、後で何倍もの代償を払う。