AIに任せる範囲を広げるほど、レビューが持たなくなる｜型とテストで「読まずに済む」状態をつくる

Claude Codeのような生成AIに任せる範囲を広げていくと、ある時点で「全部読んでレビューする」という確認方法が破綻する。差分が大きいうえに、AIの出力はいつも自然な日本語と動くコードだからだ。読んで違和感がないことと、正しいことは別物である。フリーランスエージェント比較サイトの運営者は、この問題に直面し、方針を大きく変えた。守るべき不変条件を文章ではなく、テストと型の側に書く。「出典を必ず付けること」と説示書に書いても守られるかは運だ。だがテストに書けば守られる。落ちるからだ。

このサイトではテストが1,347個ある。その中でも「普通のユニットテストではないもの」が重要だ。APIの入力には型でマスタデータとの一致を強制し、認可漏れはプログラムがコンパイルできないようにしている。数字を伴う記述には出典があるかを走査するテストを設けた。ただし過去の記事を全て直すのは現実的でないので、既存分はベースラインに登録しておき、新しく増える無出典の断定だけを止める。そして「直した分が棚卸しから消えているか」もテストで強制している。増やせないし、直したら削らないと落ちる。公開する数字と取得元はURLまで一字一句一致させる機械検査を入れた。データベースにはRow Level Securityを有効にしているかを定期的に検査し、無効が一つでもあれば本番環境に混入する前に落ちるようにしている。

中小企業がAIに仕事を広げるときの失敗パターンは、「AIの出力を信頼しすぎる」に尽きる。出力が自然で説得力があるから、数字を疑わずに使う。引き出しの根拠があると思い込んでいる。禁止事項を書いたルール文書があるから守られると思っている。しかし実務では、文章に書いたルールはいつも抜け落ちる。AIの出力が自然だからこそ、ろくにレビューせずに通してしまう。品質を守るには、手動でチェックする体制ではなく、守るべき基準をコード・テストで宣言し、機械的に落とす仕組みを作る方が確実だ。運ではなく仕組みで品質を守る。これが大事だ。