ざっくりわかる AI Agent（4）：評価——体重計がなければ、ダイエットもできない

AIエージェントを作る人は毎日が選択の連続だ。どのモデルを使うか、どんなプロンプトを書くか、ツールをどう設計するか——その選択が本当に改善をもたらしているのか、それとも偶然たまたまうまくいっただけなのかは、感覚では判断できない。この記事が「体重計」と呼ぶのが評価である。評価がなければ、その選択は全て、当たるか外れるか判らない賭けになっている。

最も陥りやすい落とし穴は「モデル単体の性能」と「モデル+足場」の組み合わせを混同することだ。同じモデルでも、プロンプトの書き方、ツール設計、フィードバックの回し方次第で、性能は劇的に変わる。つまりモデルを新しくすることだけが改善ではなく、足場を磨くだけで大きく伸びることが多い。ボトルネックを見分けるには「モデル差し替えテスト」が有効だ。足場はそのままに、モデルだけを強いもの・弱いものに替えて、スコアがどう動くかを観測する。強いモデルでも点数が動かなければ、問題は足場にある。評価とはすなわち、データドリブンで判断を下すための武器である。正しい評価セットがあれば、新しいモデルが出たときも、自社タスクで本当に良いのか数時間で確かめられる。持たない企業は、コミュニティの反応と勘に頼るしかない。モデルが半年一世代のペースで切り替わる今、この差が競争力を左右する。

実装では三つの原理が鍵だ。一つ目は「どこで測るか」——ツール呼び出しなら自動採点でき、対話なら人手の採点かLLMに審査を任せる。二つ目は「何を測るか」——成功率だけでなく、失敗例や意地悪な境界場面こそが真の差を開く。三つ目は「どう判定するか」——複数の審査員を交差させ、偏りを打ち消す。評価セットは一度作って終わりではなく、本番で見つかるバッドケースを常に流し込んで、実態に近づけていく。それは製品と共に育つ生き物である。