BM25を使用してCodexのトークンの消費を30%抑える

コード探索にBM25というキーワード検索手法を組み込むことで、AIエージェントのトークン消費を30%削減できた。これは技術者には朗報だが、一般にはほぼ報じられない。だが、ビジネスの視点からは重要だ。

「大規模言語モデルは高い」という通念がある。ChatGPT の有料プラン、Claude の API 利用料──確かに一回一回のコストは見える。だが、ここで見逃されるのは「設計の工夫で、コストを大きく下げられる」という現実だ。検索対象が7,000ファイル規模なら、賢く設計すれば3分の1 のコストで同じ精度が出る。むしろ、質の低いプロンプトエンジニアリングよりも、構造的な工夫が効く。これは中小企業にこそ重要な知見だ。

実装の視点も示唆的だ。「どのファイルから読むか」を最新の機械学習で決めるのではなく、統計的な検索手法に任せるという役割分担。新しい技術が必ずしも優れているわけではなく、古い手法が新しい文脈で復活することもある。コスト制約が強い企業こそ、こういう「シンプルで効く」手法の組み合わせに目を向けるべき。なぜなら、それが真の競争力の源になるからだ。