「テストが通った」でPRを作らせない

テストが通っても、利用者が実際に使う経路は動かないことがある。これは多くのエンジニアが経験する落とし穴だ。CLIのパーサーはテストに合格するが、値が処理の奥まで渡っていない。ファイル生成は成功扱いなのに、期待した形式ではない。コンテナはビルドできるが、ローカル環境に偶然入っていた依存が本番にない。テストという閉じた世界と、ユーザーが触る現実の間には、見えない溝がある。

ここで面白いのは、この問題を「AIエージェント自身に解かせている」という点だ。人間が「念のため実行してみて」と指示するのではなく、エージェント自身が変更内容から確認方法を判断し、実際にコマンドを走らせ、結果を見てPRを出すかどうか決める。つまり、AIに責任を持たせる運用設計である。同時に、この仕組みを支える「CLAUDE.md」という指示ファイルの工夫も重要だ。テストと実行確認とセルフレビューを分け、それぞれに異なる証拠を求める。チェックリストではなく、判断の根拠を整理している。中小企業の多くはテストが全部だと思っているし、AIベンダーも「テスト通りました」で完了報告する。だが本当は、動作確認は別軸で必須なのだ。

AIでコードを書かせるなら、テストの後に必ず「本当に動くか」を確認する手順を入れること。検証の手間を惜しむと、出た直後の小さなバグが、本番で大きな障害に化ける。