KogがGPUの推論性能最大化を実現

フランスのスタートアップ Kog は、既存の市販 GPU（AMD MI300X や Nvidia H200 など）を用いて、極めて高速な AI 推論を実現する技術を開発している。CEO の Gaël Delalleau は TechCrunch に「既にデータセンター向けの標準的な GPU で、リクエストあたりのデコーディング速度を劇的に高める」ことが可能だと主張した。デモ段階では 3,000 tokens/sec という高速を達成し、さらに「30倍の高速化」を目指すという。この技術的な争点は一見すると「チップの性能比較」のように見えるが、実は業界全体の前提を問い直す試みだ。

ここが AIの鬼の視点だ。業界には「GPU は推論（デコーディング）に不向き」という常識がまかり通っている。Cerebras といった専用推論チップが IPO で評価されたのも、この「GPU には限界がある」という前提に基づいている。だが Kog が指摘するのは、この前提そのものが誤りではないかということだ。Delalleau は「新しい GPU には、ただ使い切られていない大量のメモリ帯域幅がある」と言う。つまり問題は GPU 自体ではなく「それをどう使うか」という人間側のソフトウェア最適化にある。氏自身の背景も興味深い。固体物理学を学び、ホワイトハッカーとして低レベルまで物理層を理解し、GPU のアセンブリ言語・バイナリレベルでの動作を研究してきた。その「物理法則を完全に理解し尽くしたうえで既存ハードの限界を抜く」という思想が、Kog の開発姿勢を貫いている。

実務的には、これが実現すれば生成 AI のコスト構造が激変する可能性がある。現在、企業が Claude や ChatGPT の高速応答を得たければ「Fast Mode」といった課金オプションを払う必要がある。処理時間が短縮できれば、月間の API 呼び出し費用も減る。さらに重要なのは「クラウド API 依存からの脱却」だ。自社で購入した GPU サーバー上でこの最適化ソフトウェアを走らせられれば、機密データをクラウドに送らずに高速推論ができる。金融機関や製造業が社内データで AI モデルを走らせたいというニーズは強い。Kog の成功は、その扉を開く鍵になるかもしれない。