LLMを呼ばないための実装に時間を使ったら、変動費が9割減った

個人開発で万年筆の中古出品タイトルからモデル判定をするパイプラインを作った。最初は全件をLLMに投げていたが、10万件処理すると10万円の費用がかかる試算だった。そこで発想を転換し、LLMを呼ばない正規表現処理に力を入れることで、実装後は変動費を9割削減できたという話だ。

ここで示唆的なのは「LLMの単価を下げるより、呼ぶ回数を減らす方が効く」という戦略の転換である。業界の多くは「より安いモデルを探す」か「バッチAPIで割引を狙う」という方向へ行きがちだが、この著者はむしろ逆だ。不要な呼び出しをゼロにすることで、結果として最強のコスト削減を実現している。正規表現処理で80%以上を無料で解決できるなら、わざわざLLMの単価交渉をする意味は薄い。

もう一つ刺さるのは「自作テストセットの100%は、書いた本人の思い込みをなぞっているだけ」という指摘である。既知16件に対して正規表現100%という数字は、未知データに当てたら15%に落ちた。バグも、テストセット内では見つからずに実データで露呈した。これは単なる品質管理の話ではなく、自動化と人間判断の溝を浮かび上がらせている。自動で即コミットされる経路には機密を流さないという設計も、自動化が全てではないという警告だ。

中小製造業がAIに業務を任せるときの教訓は、LLMへのコスト投下の前に「本当にAIが必要な部分はどこか」を徹底的に測り直すことだ。定型業務は極力ルール化して消す、残ったものだけを知的労働に割く。結果として、意外と人間やシンプルなロジックで足りる部分が見えてくる。