MacのローカルLLMを遅くしていたのはモデルではなくテンソルの次元だった

PyTorchの新バージョン（2.14）がリリースされ、Apple Siliconで実行するローカルLLMの性能が大幅に向上した。問題の核心は、テンソルの次元にあった。自己回帰生成（一度に1トークンだけ生成する方式）では、入力が[B, 1, K]という3次元形状になることが多い。中央の「1」は、今のステップでは1トークンだけ処理することを示す。数学的には、この[B, 1, K]を[B, K]の2次元に見せても計算は同じだが、修正前のApple Silicon向けPyTorchは、3次元という理由だけで別の実行経路に入っていた。その経路はbatch要素ごとに繰り返し計算を実行するため、GPUのカーネル起動オーバーヘッドを何度も払わされていた。PyTorch 2.14は、このテンソルを2次元に正規化することで、複数の小さな計算を1つの大きな計算にまとめ直し、実行効率を劇的に改善した。

面白いのは、これが「M1やM2が遅い」という話ではなく、「ソフトウェアの見え方の問題」だったという点だ。同じハードウェア、同じ演算を実行しているのに、テンソルの次元表現ひとつで10倍近い差が生まれる。これは多くの開発者が「Macでローカルモデルは重い」と思い込んでいる原因が、実は自分たちのコードやライブラリにあった可能性を示唆する。言い換えれば、PyTorchを新しくするだけで、すぐに恩恵を受けられる層が存在するということだ。実測では、M4 ProのQwen3-1.7Bでdecode速度が68 ms/tokenから26.1 ms/tokenへ短縮された。

中小企業でMacを使っているなら、社内で推論速度が気になったときの最初の手段は「モデルを小さくする」ではなく「PyTorchを新しくする」に変わった。クラウドAPI依存を減らし、ローカル推論のコストをほぼ無料化できる局面が近づいている。