VLM量子化はLLMだけ見ない：ViT・Connector・LLMのbit配分を考える

VLM（ビジョン言語モデル）を軽量化するのは急務だが、ほぼ全ての実装例が同じ間違いを犯している。LLM部分だけを4bit量子化し、ビジョンエンコーダ（ViT）は16bit以上に据え置いたまま。理由は簡単で、モデルの大部分がLLMなので、LLMだけ圧縮すれば十分に軽くなるからだ。しかし精度を測ると、これが甘くない。

論文の実験が示したのは、最適なbit配分がタスクとアルゴリズムで大きく変わることだ。VQA（画像への質問応答）ではLLMの精度が最重要だが、画像検索ではViTとConnectorが主役になる。キャプション生成ではGPTQとAWQで感度分布が逆転する。つまり「LLMを4bit、ViTを16bitに固定する」という単純な配置は、すべてのタスクで最適ではないし、アルゴリズム変更でも最適ではない。ここが面白い。ソフトウェアなら最適化は一度で済むが、機械学習は「条件を変えたら作り直し」が常だ。

これは自社VLMを軽量化する際の現実的な重い指標になる。単純化が心地よい開発現場では「LLM=4bitで統一」と書きたくなる。だが本番導入なら、自分たちのユースケース（商品検索か、チャットか、ドキュメント分析か）に合わせてViT・Connector・LLMの感度を測り、組み合わせを再評価する手間は省けない。「精度テストは実装の後ではなく、bit配分探索の段階から」という原則を忘れると、後々の品質問題が増える。