OpenAIのJalapeñoチップ、大規模推論でベンチマークトップ

OpenAIは、Hot Chipsで開かれた会議でJalapeñoチップの詳細を公開し、新システムとして初めてのベンチマーク結果を示した。SemiAnalysisのInferenceXベンチマークで試した結果、Jalapeñoは現在利用できる最先端の推論プロセッサと比べて、1ユーザーあたりのトークン数と、キロワットあたりのスループットの両方で上回ったという。Broadcomと共同で開発されたチップで、発表は前年10月にさかのぼる。OpenAIのハードウェア責任者Richard Hoは電話会見で「非常に大きな性能の前進」と述べ、電力1単位あたりでより多くのAI処理を担えること、応答が速いことを強調した。 AIの鬼として引っかかるのは、比較相手がNvidiaのBlackwellシステムだという点だ。Hoも、Jalapeñoが本格展開される頃には競合が大きく進んでいるかもしれないと認めている。つまり今回の数字は、発表時点で最先端とされる相手との比較であり、勝負の本番は2027年の本格展開以降になる。ベンチマークは出走前の計時にすぎない。もう一つ面白いのは、OpenAIがチップ、モデル、サービス、メモリを一体で設計すると言い切っていることだ。半導体の世界で言えば、自前の工場を持つ宣言に近い。チップ単体の性能競争ではなく、どこまで自社で抱えるかという垂直統合の話として読むべきニュースだ。 さらに、プリフィルと通信の遅延を減らし、応答生成に使うKVキャッシュを手元に置く設計は、推論の詰まりどころを先に特定した結果だと読める。 中小企業の実務に当てはめると、推論チップそのものを買う話ではない。ただ、クラウドのAIサービスの応答速度や料金は、こうした基盤の性能に静かに影響される。2026年末はごく小規模な導入で、本格化は2027年と見られている以上、今の業務計画は今使えるサービスの性能と料金で組むのが現実的だ。チップの名前を追うより、今の業務で応答の遅さに困っている場面があるかを確かめるほうが先である。