○×表は読めない —— AIに集めさせた教習所データ489件を全部検証した話

中古バイク検索サイト「MotoHub」の運営者が、二輪免許が取得できる全国の指定自動車教習所のデータを集約する際にAIを活用した経験を公開した。Claude（Cowork）というAIエージェント機能を使い、県ごとにサブエージェントを配置して公式サイトや公的機関の名簿などを読ませ、校名・所在地・URL・二輪の可否をCSVに落とす。データ収集の速度は圧倒的だったという。24県分、489校の一次データが1日で揃った。しかし、その後の検証段階で思わぬ落とし穴にぶつかった。最大の問題は「○×の表」である。教習所情報は行が学校、列が免許種別という形の行列で提供されていることが多いが、AIが同じ表を何度読んでも結果が変わった。セルの結合や空欄の扱いで列がずれていたのだ。そこで独立した2つの第三者サイトを突き合わせると、同じ学校でも大型二輪の有無が食い違った。公式サイトまで遡ると、サイトAが正しかったり、サイトBが正しかったり、両方間違っていたりと、一貫性がない。なぜこんなことになるのか。それは、AIが「見つけた」ことは強いが、「探し方が正しかった」ことを証明できないからだ。記事には他にも「テキスト形式でも壊れる」「『無い』の証明がいちばんあぶない」といった教訓が詳しく列記されている。最終的に運営者が辿り着いた答えは、手作業による厳密な検証と「未確認のデータは画面に出さない」という仕組みだ。つまり、AIは集めるのは速くなったが、検証は速くならなかった。むしろ、集まる量が増えた分だけ検証の総量が増えたということだ。