【OnecaratEditor Core 制作秘話①】極小サイズのローカルLLMの回答精度をあげた話

ローカルLLMの進化は急速だ。アメリカのスタートアップ・Liquid AIが、700MB程度のコンパクトサイズながら日本語に特化した「LFM2.5」というモデルを公開し、GPU無しのCPU環境でも動作するレベルまで到達した。セキュアな環境が必要な中小製造業にとって、クラウドAIに依存しないオンプレミスの選択肢が現実的になってきたことは大きい。しかし、小型モデルにはトレードオフがある。LFM2.5が架空の概念を堂々と説明してしまうように、知識量に明確な限界があり、流暢で自信満々の文体でハルシネーション（知識の創作）を垂れ流すため、知らない読者は簡単に騙される。

面白いのは、その制限下で精度を上げるために、開発者が「AIを何度も問い合わせる」という戦略を採ったことだ。DeepThinkingEngineという仕組みで、ユーザーの発言を分類した上で、段階的に深さを変えながら複数回ローカルAIに問い合わせ、その結果を統合して最終的な回答を導き出す。小型モデル一回きりの出力よりも、複数回の問い合わせから「整合性の取れた答え」を構成することで、幻想を減らす工夫だ。本来なら大規模モデルに一度聞けば済む作業を、小型モデルを複数回走らせることで補完するというのは、「どうしてもクラウドには送りたくない」という事情がある現場には、極めて実用的な選択肢である。

中小企業がセキュアな環境でAI導入を検討する際、「性能の妥協」と「セキュリティの堅牢性」のバランスは常に悩ましい。だが、ローカルAIの精度が「複数回問い合わせで補える」レベルに達しているなら、わざわざクラウドの高性能モデルに高い料金を払う必要があるかどうか、改めて検討する価値がある。ローカルLLMは単なる「低性能版」ではなく、「制約を前提にした別の使い方」が成立する段階に入っているのだ。