「Kimi-K3をRTX 6000 PROで動かした」の続き。モデルを変えたら5.2倍速くなった話

同じ GPU マシン、同じソフトウェアのまま、モデルをKimi K3からQwen3.5に変えただけで、処理速度が5.2倍になった。日本語の反復崩壊も消えた。パラメータサイズが1/7に減ったのに、なぜ高速化の幅はそれより大きいのか。その答えは、ローカルLLM導入の「カタログ値の罠」を説き明かしている。

AIの鬼が注目するのは、ここで何が本当のボトルネックだったかという点だ。単純には「パラメータが少ないから速い」のではない。K3 は非 expert 常駐メモリだけで58.7 GiB を占めていた。つまり GPU のメモリの大半が「常に必要な層」で埋まっていて、高速キャッシュに回す余裕がなかった。一方、Qwen3.5 は非 expert が約6 GiB に収まる。だからこそ、GPU メモリの大部分を高速キャッシュに割き当てられ、データアクセスが爆速になったわけだ。極端な量子化（1.7bit）で日本語が壊れるというのも、単なる「圧縮の限界」ではなく、メモリ効率とのトレードオフなのだ。つまり「性能が落ちた」のではなく「別の制約に支配された」のである。

企業がローカル LLM を導入するとき、よくある失敗は「モデルのスペック表で比較」することだ。パラメータサイズ、量子化のビット数、ベンチマークスコア。だが実務では、それだけでは足りない。「あなたの GPU にそのモデルを乗せたとき、実際には何が起きるのか」を計測してから選ぶべきだ。メモリの使い方、キャッシュの効き方、実装のクセ。同じスペックでも環境によって5倍の差がつく。カタログの数字で判断すれば、導入後の失望は必至だ。