AIエージェントの評価（Eval）について考えてみた──ベンチマークが当てにならない理由

AI業界の事実上の共通尺度となったSWE-benchをはじめ、複数のエージェント評価ベンチマークが登場している。ところが、公開リーダーボードに載っているスコアは、実際のモデルの実力を正しく反映していない。データ汚染（モデルが訓練中に見た可能性）、不良テスト（SWE-bench Verifiedの約20%が実は不正確）、確率的ゆらぎ（実行するたびに結果が変わる）、ハーネス効果（評価フレームワークの違いで10～20ポイント差が出る）という4つのノイズが混入しているからだ。

これはベンチマーク作成側の怠慢ではなく、根本的な問題を指している。「エージェントが賢い」とは何か、という定義が業界全体で決まっていないのだ。タスク成功率だけでは測れない。重要なのは「壊れていることに気づける仕組みを持っているか」という、極めて実務的な視点である。エージェントは途中の判断の連鎖が長く、どこかで静かに誤り、最終出力だけ見ると正しそうに見えることがある。公開ベンチマークでスコア90%のモデルが、自社コードベースでは50%かもしれない。それを早期に検知する手段を持たない企業は、後手に回る。

実務で今やるべきは、公開スコアを鵜呑みにしないこと。自社の問題セットを小さくてもいいから用意し、複数試行で「毎回成功するか」を確認し、モデルアップデートのたびにリグレッション検査を回す。継続的な自前評価システム。それ以外に信頼できる判断軸はない。