LFM2.5-VL-DSparkでビジョン・言語モデルを高速化

ビジョン・言語モデル（画像と言葉を両方理解するAI）の推論速度が大幅に改善された。LiquidAIが「LFM2.5-VL-DSpark」という技術を公開し、推測デコーディングという手法を使うことで、デコード速度で最大3.13倍、エンドツーエンドの推論で最大2.62倍の高速化を実現している。追加のモデルパラメータは280M（元の3Bモデルに対して8.9%）という小さなコストで実現されており、llama.cpp、MLX-VLM、SGLangといったフレームワークで即座に使える状態になっている。

ここで興味深いのは、この高速化の恩恵がデバイスやユースケースによって大きく異なるという点だ。推測デコーディングは「デコード」の部分だけを高速化する技術だが、ビジョン・言語モデルでは画像をまずビジョンエンコーダで処理し、その後、言語モデルがテキストと視覚トークンを一緒に処理する必要がある。つまり、エッジデバイス（MacやiPhone）では全体の処理時間の中でビジョン処理とプリフィルが大きなボトルネックになっており、デコード部分の3倍高速化が全体で1.56倍から2.62倍の改善にとどまるのは、アムダール則の制約を受けているということだ。言い換えれば、画像処理という「重い部分」が相変わらず時間を喰っているため、デコードを頑張っても焼け石に水というわけである。

実務的には、ビジョン・言語モデルをオンデバイスで動かしたい企業にとっては、推測デコーディングは助けになるが、大幅な改善を期待すべきではないという教訓だ。むしろ重要なのは、ビジョンエンコーダの軽量化やプリフィル処理の最適化であり、デコード以外のボトルネックにメスを入れることになる。今後のAI推論の高速化は、個別の技術ではなく、パイプライン全体の最適化が勝敗を分ける時代になってきているということを、この発表は端的に示している。