BM25をエージェントへ追加するだけでは、トークン消費は自動的には減らない。OSSで24回検証した結果全ケース増加した

高度な検索アルゴリズム BM25 をコード探索エージェントに追加すれば、トークン消費が 30%削減できるという先行主張があった。なぜなら、より賢い検索があれば、エージェントが無駄な試行錯誤を減らせるという論理。だが実際に 2つの大規模オープンソースを対象に 24パターン検証すると、全ケースでトークン消費が逆に増加した。ただし、検出精度（Recall）は同等か向上したので、検索の品質が落ちたわけではない。なぜか。理由は単純だ。BM25 が「追加」されただけで、既存の検索手段を「置き換え」なかったから。エージェントは新しい検索手段と古い検索手段を両方試す。精度は上がるが、試行回数が増えてトークンも増える。

これは AI ツール全般に共通する業界の落とし穴だ。「新機能を追加したら自動的に効率化する」という仮説は、ほぼ全て外れる。新しいオプションが加わると、モデルの判断基準が不明確になり、念のため「両方試す」という行動が増える。精度は上がるが、コストが上がる。この本来の目的と逆の結果は、ツール選びの段階では見えない。使ってから分かる。

中小企業が AI エージェントを導入するとき、「新しい検索機能でトークンが減る」という謳い文句は疑ったほうがいい。実際の仕事で測ってみると、古いやり方を完全に捨てて、新しいやり方だけ使わせない限り、コスト削減は起きない。つまり「この新機能、本当に古いやり方より優れているか」という確実な勝負をつけた上で、古い方を社内ルールで禁止する。そこまでやって初めて削減効果が出る。