478件と497件 — 指定していない条件は、揃わない

同じデータを同じツールから取り直したはずなのに、出てきた数字が異なる。これはAIコーディングエージェント時代の、新しい種類のバグである。自治体向けシステムのQAを担当するエンジニアが複数の作業スレッドを回していたとき、複数のAIエージェントがそれぞれ同じ課題管理ツールから「リリース対象の課題数」を数えた。一つは478件、もう一つは497件。両方ともエラーメッセージは返さない。両方ともいかにもそれらしく動いている。だが結果が異なる。実際に19件の差を追跡してみると、原因は二つあった。ひとつ目は、ページネーション中に更新日時順の並び順が変わって、取りこぼされた課題があったこと。ふたつ目は、アーカイブ済みの課題を取得対象に含めるかどうかが定義されていなかったこと。つまり、どちらのエージェントも「仕様が指定されていない部分を勝手に決めていた」のである。従来のソフトウェア開発では、エラーが出ることで人間は問題に気づいた。だが、AIエージェントが返す結果は「エラーにならない間違い」だ。仕様が曖昧なまま依頼されたエージェントは、その曖昧さを自分の判断で埋めて、もっともらしい結果を返す。その結果が正しいのか間違っているのか、突き合わせる相手がいなければ永遠に分からない。実際、この478件と497件の差が判明したのは、偶然別の照合作業が同じ日に動いていたからだった。それまで何日間も、両方のエージェントは間違ったまま動き続けていた。AIエージェント時代のテスト戦略は、従来のエラーハンドリングのフレームワークでは通用しない。件数の多寡を比較するのではなく、差分の具体的な中身を見る。複数の独立した取得元を常に並行実行して、差が出たら理由を特定する。そして、仕様書に「並び順を作成日時で固定する」「アーカイブを含めるかどうかを明示する」といった条件を全て書き出す。中小企業の現場でも同じだ。これからは、AIに何か指示するときに「指定していないことは揃わない」と覚悟して、条件を徹底的に列挙する習慣がいる。ドキュメントに条件を書き出す手間が増えるが、その手間こそが、AIが出す「もっともらしい間違い」を防ぐ最後の砦になるのだ。