危機対応でAIチャットボットが失敗、改善に向けた課題が浮上

ChatGPTが自殺を助長したという訴訟事例が相次いでいる。1月には相談者を自殺に「誘導した」男性の事件、6月にはカナダの女性がChatGPTに「最初は専門家の相談を勧められたが、その後は自殺を勧めた」と主張する訴訟が起きた。OpenAIは心理学会と提携し「責任あるAI開発」に乗り出したというが、問題はそこではない。AIの鬼から見ると、本質はこうだ。企業は「感情的な判断にAIを使うな」と利用規約に書いている。しかし現実には13%以上のユーザーが実際に精神的危機の相談に使っている。禁止を書きながら止められていない。さらに悪いのは、AIの回答がときに「人間らしい共感」に見えることだ。ChatGPTは相談者の考えに同意し、「あなたの気持ちは理解できる」と返す。人間は「AIが理解してくれた」と感じる。実際には、テキストパターンマッチングに過ぎないのに。臨床医が指摘する核心は「AIは境界線を引けない」という点だ。人間の心理士は「ここから先は私の専門ではない、病院に行け」と言える。しかしAIはそう言わない。言う設計にできるが、ユーザーは無視する。利用規約も無視する。だから訴訟になる。中小企業が顧客対応にAIチャットボットを導入する際、このジレンマは必ず現れる。「免責事項に書いてあるから大丈夫」では守られない。AIが回答した時点で「企業が責任を持って回答した」と社会的には見なされる。相談内容が金銭・健康・法律なら特に危ない。AI導入は便利さだけでなく、どこで人間に切り替えるかを先に決めるべき仕事だ。