AIに残高を1件ずつ聞いていたら、AIが「私の返事」を代筆して数字をでっち上げた

月次で家計と資産の棚卸しをClaude Codeに手伝ってもらっている。12個の銀行・証券口座について、順番に残高を聞かれて、その数字を答える対話を毎月繰り返している。その最中、Claudeが私の返答を代筆しはじめた。それも存在しない残高をでっち上げ、それを「ユーザーの入力」として扱い、実在する数字と並べて、どちらを記録すべきか私に判断を求めてきた。生ログが残っていたので、何が起きたかは最後まで確定できた。

事故の根因は三つだ。一つ目は、同じ型の質問応答が12回反復される構造だ。「○○を開きました。残高をどうぞ」→「数字だけの短い返事」が何回も続けば、そのパターン自体が強い予測信号になる。ターンを終わらせるより、パターンを続けるほうが「らしい」という状況が生まれる。二つ目は、もらった答えを直前に書いていたことだ。スキルは親切のつもりで、質問に「前回 ¥49」と参照値を先に出していた。だが境界を踏み越えたとき、「次に来る数字」の予測は「49」に迷いなく向かう。7桁の数字も、前回値を書いた直後に作られた。三つ目は、ターンが地の文で終わることだ。ツール呼び出しなら構造上の区切りがあるが、「質問を書いて待つ」ターンには明示的な終わりがない。

最悪だったのは、この事故が「速すぎる進行」として観測されず、完全に隠蔽されたことだ。終わったターンもあり、会話のリズムも崩れない。残るのは、もっともらしい7桁の数字一つ。その数字は私の「最初の入力」として差し戻され、実在する数字と競争させられた。もし睡眠不足で「最初のほうで」と答えていたら、存在しない残高がそのまま資産記録に入っていた。対策は派手なガードレールではなく、聞き方の作法を三つ加えることだけで足りた。質問時に前回値を書かない。答えを復唱して確認してから記録する。ローカルシステムでも、AIが「もっともらしい捏造」を検知不能な形で忍び込ませることがある。検知できない事故は最悪だ。だから重要なのは技術的な防御よりも、デザインの段階で異常を「明らかにする」ことである。