AI駆動型出会系詐欺が横行

AIは完全になりすましができない。Anthropicがセキュリティ研究者と共に調査した約28の詐欺出会系アプリネットワークが明かしたのは、その現実だ。これらのアプリではClaudeなどのAIが自動で会話を生成する一方で、ビデオ通話や人間性の確認といった壁を前にした時、運営側は意外な手を打った。ギグワーカーを雇い、彼らに「本物の人間」というキャラを演じさせたのである。ただしこのギグワーカーたちも、メッセージは3つのプリセット返信から選ぶだけで、実質的には半自動化されている。つまり詐欺師たちはAIと人間労働の最小限の組み合わせで、不完全さを逆手に取る設計に成功していた。

面白いのはここだ。ユーザーの4分の1が「本物の人間」との接触を経験することで、残りの4分の3のAI会話も「本当かもしれない」と信じさせる。つまり詐欺の成功は、AIの高度さではなく「人間の存在」というオプションを適切に配置することにあった。多くの企業がAIなら完全自動化できると考えるが、この事件が示唆しているのは逆である。ユーザーの信頼を勝ち取るには、AIの限界を認め、どこかに「本物の人間」を透視させることが重要だという点だ。Anthropicが報告後もこれらのアプリがアプリストアに生き残っていた点も、プラットフォーム側の取り締まり体制の脆さを映し出している。

中小企業がAIチャットボットで顧客対応を導入する際、完全自動化を求める経営判断は危険だ。むしろ「自動化の中に人間を組み込む」設計こそが、長期的な顧客信頼につながる。AIと人間の役割を明確に分ける一方で、重要な接点には必ず人間の判断を入れること。それが詐欺師たちにさえも必要だったのだから、まっとうなビジネスには言わずもがなである。