ローカルLLMにIntel GPUという選択

ローカルLLM を自前で運用しようとすると、真っ先に NVIDIA RTX PRO という選択肢に辿り着く。だが価格を見た瞬間、多くの企業は導入を諦める。RTX PRO 4500 Blackwell は高すぎる。ところが今、別の道が静かに見えてきた。Intel Arc Pro B70 だ。32GB VRAM を積んで 22万〜28万円という、RTX PRO との価格差は歴然である。 記事の筆者は、このカードで 31B Dense モデルを 150W 制限で常時稼働させ、約 22 トークン/秒の実用的な生成速度を引き出している。投機的サンプリング（Speculative Decoding）を併用すれば 34 トークン/秒まで伸びる。「最速ではない」という正直な評価が却って信頼を呼ぶ。CUDA よりメモリ帯域は劣るが、オンプレで大型モデルを走らせるなら「十分に実用的な選択肢」なのだ。 だが注意点がある。最大のハマりどころは Intel Compute Runtime のバージョン選定だ。新しいバージョンでは SIGSEGV が発生し、過去バージョンに戻すと正常化する。つまり「新しい技術だから最新を使おう」という思い込みが通用しない。正しく動く環境を固定し、勝手な更新を避ける工夫が必須になる。これは新しい技術の宿命だ。検証なき導入は失敗の入口である。 今後、大型モデルをオンプレで動かしたい中小企業は、NVIDIA 一択ではなく、こうした選択肢の検証に時間を割く価値がある。記事で示されているビルド手順、実測ベンチマーク、環境変数の設定まで、すべて参考になる。コスト削減と安定稼働のバランスを自分たちの現場で確認してから判断する。その過程こそが、後悔のない導入につながる。