AIが生成した“存在しない病名”、研修医の44％が信用 見抜けた医師との差は？ 仏大学病院が検証

フランスの大学病院などに所属する研究者らが発表した論文「Hallucination by proxy in LLM-assisted differential diagnosis」は、大規模言語モデル（LLM）が提示した架空の病名を、医師がどこまで信用してしまうかを検証した研究である。研究では、研修医の44%が、AIが生成した存在しない病名を信用してしまったという結果が示された。見抜けた医師との差も、この研究の注目点として扱われている。

AIの鬼の視点で言えば、ここで怖いのは「AIが間違える」ことより「もっともらしく間違える」ことだ。存在しない病名がそれらしい響きで出てくると、経験の浅い人ほど「知らないだけだ」と判断しやすい。AIの回答が専門用語で整っているほど、人はチェックを手放してしまう。これは医療に限らず、どの業界でも同じ罠になる。業界的には、AIの精度向上より先に「出力を疑う訓練」を人に施すことの方が大事だという警告として読むべきだ。

中小企業の実務でも、AIが出した数字、制度名、取引先の情報は、必ず一次情報に当たってから使うことを社内のルールにしておきたい。特に経験の浅い社員ほど、AIの答えを疑う癖を意識的に持つ必要がある。