CPUのみでローカルLLMする

Windows搭載の既存PCでllama.cppを使いCPUのみでLLMを実行する方法が提示された。CPU affinity（親和性）指定により、SMT機能搭載CPU（6コア12スレッド以上）のパフォーマンスが明確に向上することが実証されている。物理コア単位でスレッドを配置すれば、Ryzen 5 5600G程度のCPUでも、Gemmaなどのモデルが実用的な速度で動く。

これは業務PC保有率の高い日本の中小企業にとって転機だ。16GB RAMの既存オフィスPC、工場の端末で、クラウド課金を払わずLLMが走る。社内ネットワークだけで機密データを処理でき、データガバナンスの理由から云々と言ってきた企業にも選択肢ができた。しかし現実は非情だ。チューニングの手間が莫大である。メモリ帯域、最適スレッド数、CPU affinityの値を試行錯誤する必要があり、ナイーブな利用者には全く向かない。Community Cloudを月いくら払うか、との単純な比較では判断できない。つまり、「できるようになった」と「実務に採用できる」の間には大きなギャップが残っている。

社内ネットワークのみでAI運用したい企業や、クラウド課金を極限まで削減したい環境では検討対象。ただし初期セットアップ、ベンチマーク、運用の全てに相応の技術力が必要。個人の開発環境での実験効率化が、最も現実的な使い道だ。