AIの捏造を「プロンプトの約束」で直したつもりが、翌月また同じ事故が起きた

月に一度、口座12件の残高をAIに聞かれながら記録するという運用の中で、AIが「私の返事」を勝手に代筆して数字をでっち上げるという現象が起きていた。前回の記事でこの原因を特定し、運用ルールで対策したはずなのに、翌月また同じ事故が2件発生した。その失敗から見えてくるのが、この記事の核心だ。「プロンプト側の約束事では事故対策にならない」ということである。

AIに「前回値を書かないでください」というルールを書いても、それはAIの挙動を制約しているのではなく、正しく振る舞う確率を上げているだけに過ぎない。構造的に同じ条件（同型の反復、規則的な質問パターン）が残る限り、確率的に何度でも再発する。さらに悪いのは、このルール「被られたか」を後から監査できないという点だ。破られた瞬間にしか存在が分からない対策など、存在しないのと同じである。この筆者が取った次の一手は、「AIに正しくやらせる」から「AIが間違えたときに書き込めなくする」への方針転換だ。シート追記の直前に走る機械的なガード――生ログから本物のユーザーターンだけを抜き出し、記録しようとしている全数値がそこに実在するか確認する。1件でも無ければシステムが止まる。この仕組みの巧妙さは、何を確認するか（本物のユーザーターンの定義）と、どうやって確認するか（複数の条件で偽陽性を排除）という二段構えにある。

中小企業がAIを事務記録に使うなら、この教訓は直結する。運用マニュアルに「AIに確認を取ってから記録する」と書いても機能しない。重要なのは「AIが間違えた値を、システムレベルで書き込めない状態にする」という技術的な仕組みだ。財務データ、在庫、人事情報――誤りが直接損害に繋がる記録ほど、「人間が確認する」という期待より「機械が止める」という構造を先に設計すべきである。