agency-agentsをCodexで試したら、CI通過済みの実装が「NEEDS WORK」になった

agency-agentsというライブラリには144種類の専門エージェントが用意されています。これをCodexというAI対応コードレビューツールに組み込んで、個人開発のプライベートアプリで試してみた人がいます。テストは401件全て通過、Biomeなどの静的解析も型検査もOpenAPI生成も全てOK。それでいてCodexは「NEEDS WORK」と判定した。従来のCI環境が「合格」と言っているのに、生成AIのレビューは「不合格」を返した。

ここが面白いのは、この逆転が「バグがある」ではなく「基準が違う」ということです。従来のテストスイートは「仕様通りに動くか」「明らかなバグがないか」という観点でコードを見ています。一方、生成AIのレビューは「設計に説得力があるか」「6ヶ月後に他の人が読んで理解できるか」「スケーラビリティに問題ないか」という別の軸で評価している。同じコードが、ツール側の「何を見ているか」によって合格・不合格が反転する時代が来ているわけです。これは開発現場の常識――「テストが通ったから大丈夫」――を揺さぶります。

実務的には、テスト通過は必要条件ですが十分条件ではなくなったということです。生成AIをレビュアーとして使う場合、その評価軸が従来のテストと異なることを理解しておく必要があります。むしろそこに価値があるのです。テストは見ていない「将来の保守性」や「チームの理解度」という軸を、AIが指摘できるからです。