AIの「実測しました」を3回信じて、3回とも間違っていた — 出力を確認する型

AIに仕事を任せる量が増えると、いつか詰まる瞬間が来る。成果物の量ではなく、成果物を確認する時間が足りなくなるのだ。そして厄介なのは、AIが間違えるとき、たいてい自信を持って間違えるという点である。「実測しました」「確認済みです」という言葉が付いてくる。表情や言い回しから自信のなさを読み取ることができない。

この記事は著者が実際に信じて実際に間違っていたAIの出力を並べたものだ。対戦ゲームの難易度調整で「勝率は42%」と報告されたのは、たまたま12回のテストの引きが良かっただけだった。サイトが検索に出ない原因を「サイトマップを送信していない」と推測で答えられ、実際には管理画面を見ていなかった。時刻の記録は感覚で書かれ、自分で記録した情報を「存在しない」と言い張ったこともある。公開用サイトのHTMLコメントに制作メモが残っていたのは、表示画面には影響しないから気づかれなかった。こうした間違いは「AIを疑え」という心構えでは防げない。確認の手順を決めて初めて捕まえられるものだ。

AIの鬼の視点は、この確認手順が実は少ないということだ。数字が出てきたら母数を聞く。「原因はこれです」と言われたら、画面を見たのか、ファイルを読んだのか、推測なのか出所を確認する。時刻・日付・所要時間はシステムから自動取得させる。公開物の中身はgrepで検査する。これらは全部「AIを疑え」という精神論ではなく、報告を受け取ったときに機械的に走らせる質問とコマンドである。

中小企業が提案書・調査報告・事業計画書をAIに書かせるときは、この確認リストが使える。もっと実用的には、定期的な数値報告—売上集計、在庫確認、顧客情報更新—をAIに任せるなら「報告と事実が一致しているか」を機械的に検査する仕組みが必須だ。そうしなければ、AIが作った提案が通ったのに実装できないという事態を招く。