「落ちない」は安全ではない —— 自動化が黙って嘘をつく5つの型と、それを捕まえるテスト

YouTubeの検索スクリプトで、エラーは出ていないのに間違った答えを返す現象に直面した。検索語を1つ替えたら答えが100倍変わった——という一見するとバグのような事象を掘り下げた結果、実装は「正常に落ちていない」ことが原因だった。YouTubeがbot判定ページを返したときに埋め込みデータが無いのに、取得失敗を「0件ヒット」として返していたのだ。エラーログも出ない、終了コードも0。誰の目にも「正常に動作している」と映った。

ここが怖いのは、自動化が「形のある間違い」を返すことだ。ゼロは0だし、falseはfalseだ。間違った答えが正しい形をしているから、その先の判断に毒が混じる。自作の測定スクリプトの嘘を発見できたのは、たまたま検索語を替えてクロスチェックしたからにすぎない。つまり、自動測定を信じすぎた時点で、既に意思決定は曲がっていた。記事で示される5つの型——「取れなかったを無かった扱いにする」「テストが0件なのに緑になる」「取れなかった値を0や偽で丸める」「壊れた状態ファイルを黙って初期化する」「エラーハンドリングの名前を信じ込む」——は、みな「正常系と異常系の区別をつけていない」という共通の根っこを持っている。異常は例外として飛ばし、取れなかった・判定できなかった・壊れたという情報を明示的に残す。それだけで、マシンの嘘を捕まえられる。

中小企業が生産管理や在庫自動化をAIに任せるとき、「システムが動いている＝正しく動いている」という勘違いに陥りやすい。定期的にサンプルを抜き取り、実物と照らし合わせる。計数が合わないときは「データ入力エラーだろう」では済まさず、自動化の側に嘘がないか疑う。異常を「0」で返すようなロジックが隠れていないか。AIの出力を検証する仕組みなしに、数字を信じてはいけない。