LFM2.5-24B-A2Bで、オンデバイスで高速かつプライベートなエージェントを実行

LiquidAIが、オンデバイスで動かす推論型エージェント向けのモデル「LFM2.5-24B-A2B」を公開した。総パラメータは約240億だが、1トークンごとに使われるのは約20億で、MoE（専門家混合）の構造を採る。前世代のLFM2-24B-A2Bからアーキテクチャは維持しつつ、コンテキストウィンドウを32Kから131Kトークンに広げ、語彙を約6.5万から約12.8万に倍増させて非ラテン文字の分割を改善した。前世代と異なり、回答の前に明示的な思考過程を生成する推論専用モデルになった。主要な推論環境であるllama.cpp、MLX、vLLM、SGLang、ONNXには、公開初日から対応している。

面白いのは、比較対象が同じ規模のモデルではなく、総パラメータも有効パラメータも約50%多いモデルだという点だ。ツール利用のLiveClawでは48.09対38.19と上回り、AutomationBenchでは次点の3倍以上の成績だと開発元は示している。小さいモデルが大きな相手と並ぶという構図は、このモデルの売りを端的に表している。ただし、これは開発元が提示した数字であり、独立した検証を経たものではない。より本音に近いのは、GPQA DiamondやHLEのような知識問題、SWE-Bench Verifiedのようなコーディングでは大型モデルに譲るという開発元自身の但し書きだ。このモデルは「知識の箱」ではなく、ツールを使い指示に従って手を動かす作業員として割り切った設計だと読むのが正しい。知識が必要な場面では検索と組み合わせろ、と開発元が書いているのも、その割り切りの表れだ。

中小企業にとっての意味は、ノートPCやMacの上で、外部に情報を出さずに業務を回すAIを組める現実味が増したことだ。社内の見積書や規程を手元で処理する用途には向いているが、そのまま社内知識の代わりにすると誤答が出る。明日からできるのは、社外に出せない情報を業務ごとに洗い出し、クラウドに送らず手元で処理すべき業務を一つ選ぶことだ。