AI体験記 vol.16 — 洞窟に入ったら、味方が嘘をついた

AI体験記 vol.16は、洞窟に入ったら味方が嘘をついた、という話である。筆者は複数のAIを上流・水門・中流・下流と工程ごとに分け、情報を集めて噛み砕き、広げてまとめる流れを組んだ。水は一方通行で、下流から出てきたものがそのままサイトに載る仕組みだ。コストを抑えるため、もっとも回数を叩く水門だけを手元の小さなローカルモデルに任せていた。 ある日、初めて全工程が繋がって出てきた報告を読むと、元データに無い株価の数字が事実として混ざっていたという。AIの鬼の視点で言えば、このエピソードの核心は「ルールを破ったAI」ではなく「ルールを守ったまま間違えたAI」だ。禁止されている操作は何ひとつしておらず、書式も指示も正しい。だから禁止の壁を立てても塞げない。筆者が書いたように、必要なのは門番ではなく検品係である。しかも下流はその水を「検査済み」として扱い、誰も疑わない。検査されていない前提が、そのまま信頼に変わってしまう怖さがある。 ここが面白いのは、安いモデルを選んだ判断そのものは間違っていないと筆者が認めている点だ。安さの代金は消えたのではなく、検問所を作る手間として後から払われた。コストと品質の関係を、これほど正直に言い当てた話は少ない。 中小企業がAIに文章や数字をまとめさせる場合も同じである。報告に出てきた数字は、必ず元の資料と突き合わせてから使う。元の資料で確認できない数字は通さない。この一手間が、AIの嘘を防ぐ最も現実的な検品になる。