AI時代のハードウェアの選び方——ローカルLLMを社内で持つ前に、メモリとコストで決める

社内でローカルLLMを動かしたいと思ったとき、多くの企業はGPUの製品名やスペック表から選び始めます。しかし、これは順序が逆です。本当に先に決めるべきなのは「何を動かしたいのか」と「予算はいくらか」の二つです。必要なメモリはモデルサイズで決まり、処理速度はメモリ帯域幅で決まります。つまり、製品名を見比べるのではなく、まずは運用したいモデル（7B、14B、70Bなど）を決め、その後で稼働場所と予算を問い合わせるのが合理的です。AI向け需要でメモリ価格が上昇し、個人・法人向けの供給が後回しになりつつある以上、判断を先送りするほど条件は悪くなります。

気になるのは「クラウドAPIに送ったデータが学習に使われるのでは」という懸念です。これについてOpenAI、Anthropic、Googleは公式に「業務利用データをモデル学習に使わない」と示しています。つまり、情報漏えいが主な理由なら、データ利用条件を確認したうえでAPIの利用を検討するのが筋です。ローカルを選ぶ本当の理由は、閉域網やオフラインでしか扱えない現場、業界規制で外部送信そのものが禁止されていること、大量処理のコスト、この三点に絞られます。

実際のハードウェア選びでは、四つの落とし穴が見えてきます。一つは複数の安いGPUを並べても大きいモデルは動かないこと（NVLinkがないためVRAMが合算されない）。二つはオフィスの電源工事が先に必要になることです。RTX 6000はTDP 600Wで、一般的な100V系統では一機で大半を占有します。三つは同時利用者数でメモリ余裕が変わることです。四つは話題になったモデルが自社で動かせるとは限らないこと。Kimi K3のような大規模MoEモデルは、実際に動かそうとするとクラウド月額数百万円か、GPUを十数台以上買うことになります。

買う・借りる・APIを使う、どれが安いかは月次稼働時間と利用パターンで決まります。APIは1Mトークンあたりの単価制で、初期投資がありません。クラウド借用は時間単価で支払い、自社購入は電気代と耐用年数で償却します。まずはAPIから始めて、閉域網や規制の要件が本当に出てきてから買う判断をするのが、リスクも少なく、意思決定も立てやすくなります。