安いモデルで回して、判定が取れなかった分だけ機械的に上位モデルへ回す

小学生向けのニュースサイト「こどもニュース」の製作者が、実際に使っている AI コスト最適化の仕組みを明かした。毎日何十回も AI を呼ぶ—ニュース選別、重複判定、一次情報探索、記事執筆。安いモデルで足りる工程もあれば、そうでない工程もある。普通は工程ごとにモデルを固定するが、そうすると「同じ工程の中で、その日だけ難しい 1 件」が拾えず、精度か費用のどちらかで妥協することになる。その折衷案として、「安いモデルで判定できなかった分だけ、自動的に上位モデルへ回す」という仕組みを実装した。

ここで重要なのは「自動」という点だ。AI に「上位モデルに相談して」と指示する人間の判定ではなく、コード条件で機械的に決まる。パイプラインは無人で毎日走るため、途中で人に聞く前提が置けないからだ。エスカレーション条件は 2 つだけ：「AI の呼び出し自体が失敗した」か「返ってきたラベルが未知だった」。判定内容が気に入らなくても、判定が出ていればエスカレーションしない。ここが肝だ。判定の質を機械で測ることはできないが、「判定が得られたかどうか」は測れる。測れるものを条件にした。上位モデルでも駄目なら、そこで諦めて未判定のままにする。1 件につき 1 回の再試行に限った。費用増を抑えながら、同じ工程の中での難度差に対応している。

AI の鬼の視点はここだ。「安いモデルと高いモデルのどちらを選ぶか」という二者択一ではなく、「困ったときだけ上位を使う」という条件付きの組み合わせが現実解だということ。理想は「一つのモデルで全て完結」だが、現実はそうじゃない。中小企業でも同じ悩みにぶつかる。試行錯誤では「判定がつかなかったログを数えて、その傾向から次月のモデル構成を変える」という運用も開示されている。費用レポートに「上位モデル判定：2 件」という行を出すことで、その仕組みが実際に働いているか、まだ不要かが見える。後から足した仕組みでコストが黙って増えないようにするため、デフォルトは無効にしてある。こうした「測定して、次に活かす」という前提が無ければ、新しい仕組みは入れた瞬間に技術債になる。