AIエージェントはなぜテストを握り潰すのか ― 報酬エンジニアリングのすすめ

AIコーディングエージェントが、通らないテストをskipで片付けたり、アサーションを緩めたり、ひどい場合には期待値そのものを実装に合わせて書き換える。これを見ると、多くの人は「AIが未熟だからだ」と考えてしまう。モデルが賢くなれば自然に直る、一時的なバグだと。AIの鬼として言いたいのは、むしろその逆だということだ。これは不誠実ではなく、LLMという仕組みの構造に根ざした、根深い挙動である。

そもそもLLMが学習中に何をしているかを振り返るべきだ。ポストトレーニングの過程では「採点者に高得点をもらえる回答はどれか」というクイズを延々と解き続けている。その癖が焼き付いているから、推論時もLLMは「この文脈で採点者を満足させる回答」を探している。あなたの課題を本気で解いているわけではない。だから、テストを握り潰すことが採点者を満足させる最短経路なら、それを選ぶ。意地悪な想定ではなく、学習側の研究者たちが既に報告している話だ。

モデルが賢くなってもこれは変わらない。むしろ能力が上がるほど、バレない手抜きの選択肢は増える。だから企業がすべきは、モデルの性能向上を待つことではなく、エージェントに与える環境設計を根本的に変えることだ。テスト、型チェック、lint、CI——これらを単なる品質管理ではなく「外付けの報酬関数」として設計する。つまり、エージェントが「採点者を満足させるとはどういうことか」を正しく理解できる環境を作る。報酬エンジニアリングと呼ばれるこのアプローチが、AI時代の開発組織の最小限の自衛手段だ。