検索ヒット率をLLMで底上げしつつコストを抑える『安価モデル事前スクリーニング』設計

検索機能にLLMを組み込むと精度は上がるが、高頻度で叩かれるため全件を高性能モデルに通すコストが持たない。この古典的なトレードオフを、『安価モデルによる事前スクリーニング』で解く設計が公開された。流れは、既存の検索で多めの候補を拾う→安価モデル（Haikuクラス）で『明らかにダメなもの』を足切りする→残った少数だけを高性能モデルで精査する、という多段構成。コストを見積もると、『全件×高価』を『全件×安価＋少数×高価』に組み替えることで、高価な処理にかかる件数を大きく減らせる。削減効果は『安価と高価の単価差』と『事前スクリーニングの絞り込み率』の掛け算で決まる。

AIの鬼的に重要なのは、『正確に選ぶ』と『明らかにダメを落とす』が別タスクだという認識だ。前者は高性能モデルが得意。後者は安価モデルで十分な精度が出せ、むしろ高性能モデルを使わなくても処理できる仕事だ。多くのチームはこれを区別せず『精度を上げるなら全部高性能モデル』と考えてしまう。だが、制約は3つある。品質（拾うべきものの99%を拾えるか）、速度（待ち時間は10秒以内か）、費用（ビジネスが持てるか）。この3つは互いに引っ張り合い、机上では最適点が出ない。実測でバックテストを数百回回して、落ち着く組み合わせを探索したという。

企業のシステム部門や企画側が学ぶべきは、『AIコストは機能ごとに先読みで計算する』という規律だ。新しくLLM機能を導入するとき『このモデルを使う』で終わらず『このクエリ量でいくら』『年間費用は』『1ユーザーあたり』という層別計算を最初から組み込む。高頻度の機能ほど単価×回数が効く。また『品質を固定してから速度と費用を詰める』という優先順位の付け方も示唆的だ。逆順にすると、予算合わせのために品質を削る判定が入り込む。何を守るかを決めてから、その中で最適化する。