『一番賢いモデル』が一番得とは限らない ― OCR で LLM のコスパを実測する

「一番賢いモデルが一番得とは限らない」——これは、AI活用における最も重要で、かつ最も無視されている教訓だ。記事の著者がOCR（書籍の画像をテキストに変換する作業）を題材にGeminiの複数モデルを実測し、最高精度のGemini 2.0ではなく、軽量なFlash-Liteを中程度の「思考量」で使う設定が、コストと精度のバランスで最適だったという結論に至った。これは開発者コミュニティではもはや常識に近づきつつあるが、発注側・経営側の中小企業の間では、まだ「最新モデル＝最高品質」という錯覚が蔓延している。

なぜこうした錯覚が生まれるのか。それは、AI企業のマーケティングが「最新版は前世代より強い」という単純な性能比較を強調するからだ。スペック表では確かにそうなのだが、実際の業務では違う。なぜなら、ユーザーが解きたい問題は「最高精度で何度も間違える」ことより「そこそこの精度で十分な結果を、低コストで高速に得る」ことだからだ。記事の実測結果は、この現実を如実に示している。OCRで書籍1冊をテキスト化する場合、最高精度モデルで高い思考量を設定すれば、理論上は最高の精度が得られるかもしれない。だが、同じ予算なら軽量モデルで同じ作業を複数回実行し、複数の結果を人間が確認・修正する方が、実務的には有利なのだ。これは「完璧さより実用性」「スペックより総合効率」という、日本の製造業が古来から大事にしてきた哲学と全く同じだ。

中小企業がAIツールを導入する際、最大の誤りは「カタログスペックを信じ、実際の業務データで試さない」ことだ。営業からのプレゼンを聞いて判断してしまう。だが、あなたの会社の帳簿OCR、顧客データの分類、技術文書の要約——それぞれの作業について、本当に最高精度モデルが必要なのか、それとも軽量モデルで十分か、実測で確認したか。ほとんどの企業は確認していない。これからは「ツール導入時に、必ず自社データで複数モデルを並行実行し、コストと品質のバランスを測定する」というプロセスを儀式化すべき時代が来た。スペック表で判断するのではなく、自社の仕事で実測する——これこそが、AI活用で無駄を減らす最短路だ。