社外に出せないデータをAIに処理させたい場合、クラウドではなく自社の機械で動かす必要があります。そこで壁になるのが「高価なGPUが要るのではないか」という点です。2026年7月16日に公開された研究「PolyQ」は、GPUを使わずCPUだけで大きなモデルを動かす手法を、ワークステーション・ノートPC・モバイルの3種類で実測しました。結論から言えば、CPUだけの実行は実用段階に入りつつありますが、無条件ではありません。
何が測られたのか
「PolyQ」という手法を提案した論文です（出典：arXiv:2607.14618、2026年7月16日、https://arxiv.org/abs/2607.14618v1）。
前提として、大きなAIモデルをそのまま動かすには大量のメモリが要ります。そこで使われるのが量子化という技術です。モデル内部の数値を粗くして容量を削る手法で、たとえば16ビットで持っていた数値を4ビットにすれば、容量はおおよそ4分の1になります。当然、粗くするほど精度は落ちます。
これまでの量子化は、CPUで動かすには不都合がありました。粗さの選択肢が大雑把すぎるか、細かく設定できてもCPUでは効率的に実行できないかのどちらかだったためです。PolyQ はそこを、モデルの部位ごとに細かく粗さを変えつつ、CPUが処理しやすい形に並べ替えるという方法で解いています。
測定されたモデルと結果は以下のとおりです。
| 項目 | 内容 |
|---|---|
| 対象モデル | Falcon-H1-3B / Llama2-13B / Qwen3-32B |
| 割り当てるビット幅 | 2・3・4・8・16 の組み合わせ |
| 品質が安定する範囲 | 3〜6ビット |
| 3ビット時の品質改善 | 従来手法比で 2.4〜32.1% |
| データ並べ替えの削減 | 最大 70.8% |
| 1トークンあたりの消費電力増 | 2%未満 |
| 実測した機械 | ワークステーション／ノートPC／モバイルの3種類 |
論文は、処理速度が設定したビット数にほぼ比例して変わるとも報告しています。つまり「粗くすればその分速くなる」という予測可能な挙動になっており、これは運用上ありがたい性質です。
いちばん実務に効く数字は「メモリ」
本文には、実際に必要なメモリ量が出ています。ここが「自社のPCで動くか」を決めます。
| モデル | 必要メモリ（ピーク） |
|---|---|
| Falcon-H1-3B | 1.47 GiB |
| Llama2-13B | 4.98 GiB |
| Qwen3-32B | 11.29 GiB |
320億パラメータのモデルが、11.29GiBで動いています。メモリ16GBの一般的な業務用PCで、理論上は収まる範囲です。「AIを自社で動かすには専用サーバーが要る」という前提が、ここで崩れます。
測定に使われたCPUは、Ryzen 9 9950X（16コア／ワークステーション）、Ryzen 7 7840U（8コア／ノートPC）、Intel N250（4コア／モバイル）の3種類です。研究用の特殊な機材ではなく、市販の一般的なCPUです。
品質についても具体的な数値が出ています。3ビットに圧縮したときの結果です（数値は小さいほど良い指標）。
| モデル | PolyQ | 既存手法（AWQ） | 既存手法（GPTQ） |
|---|---|---|---|
| Falcon-H1-3B | 5.82 | 5.96 | 6.28 |
| Llama2-13B | 4.88 | 5.29 | 5.75 |
| Qwen3-32B | 7.66 | 8.23 | 10.75 |
大きいモデルほど、既存手法との差が開いています。Qwen3-32B では GPTQ の 10.75 に対して 7.66 と、明確に良くなっています。
速度は、256トークンの入力に対する最初の応答までが 0.95〜1.51秒（Ryzen 9950X）。消費電力の増加は3ビット時で 0.8〜1.9% にとどまっています。データの並べ替え量の削減は、3つのモデルでそれぞれ 46.6%・70.8%・52.8% でした。
中小企業にとって何を意味するか
この研究が示しているのは、「AIを自社で動かす＝高価なGPUサーバーが必須」ではなくなりつつあるということです。
- 手元の機械で動く可能性がある — ノートPCを含む3種類で実測されています
- 消費電力の増加が2%未満 — 電気代を理由に諦める話ではありません
- 速度が予測できる — ビット数を決めれば処理速度がほぼ決まるので、業務に合うかを事前に見積もれます
一方で、冷静に読むべき点もあります。
- 品質が安定するのは3〜6ビットの範囲。 それより粗くすれば当然落ちます。「限界まで削れば動く」という話ではありません
- これは研究段階の手法です。 明日から製品として買えるものではなく、実装には技術的な作業が伴います
- クラウドのAIと同じ性能が出るわけではありません。 32Bのモデルは、商用の最上位モデルとは規模が違います
どう判断すればよいか
自社でAIを動かすかどうかは、性能ではなくそのデータをクラウドに出せるかどうかで決めるのが実務的です。
- 出せないデータがある（個人情報、取引先との守秘契約、図面など） → 自社実行を検討する価値があります
- 出せるデータしかない → クラウドのほうが安く速く、運用の手間もかかりません
- 一部だけ出せない → 出せない処理だけ手元で行い、それ以外はクラウドに回す切り分けが現実的です
3つ目が実際にはいちばん多い形です。「全部をローカルにする」と考えると費用も手間も跳ね上がりますが、出せない部分だけを切り出せば規模は小さくなります。
TOEではどうか
PolyQ の検証は、TOEでは実施していません。研究として公開されたばかりの手法であり、自社で動かして数字を取ってはいません。
ローカルでのAI実行そのものについてはローカルLLMという選択肢に整理しています。また、クラウドと自社実行のどちらが安いかは処理件数で逆転するため、費用の考え方はAIのコスト構造を参照してください。
TOEの実務での経験から一点だけ付け加えると、自社で動かす判断をした場合、本当のコストは機械代ではなく運用です。動かし続ける、壊れたら直す、更新に追従する。この人手が続かないと、買った機械が置物になります。ここを見積もらずに始めると失敗します。
まとめ
- GPUなしでCPUのみでも、大きなAIモデルを実用的に動かせることが3種類の機械で実測された（arXiv:2607.14618、2026年7月16日）
- 3ビット時に従来手法比 2.4〜32.1% の品質改善、消費電力の増加は 0.8〜1.9%、速度はビット数にほぼ比例
- 320億パラメータのモデルが 11.29GiB で動く。16GBの業務用PCなら理論上は収まる
- 測定に使われたのは Ryzen 9 9950X／Ryzen 7 7840U／Intel N250 という市販のCPU。特殊な機材ではない
- ただし品質が安定するのは 3〜6ビットの範囲で、無制限に削れるわけではない
- 自社実行の判断基準は性能ではなく 「そのデータをクラウドに出せるか」
- TOEでは PolyQ の検証は未実施。ただし自社実行の本当のコストは機械代ではなく運用だという実感はある
「AIを自社に置きたい」という要望は、多くの場合データを外に出したくないという意味です。目的を性能ではなくそこに置くと、必要な規模はかなり小さくなります。