Kimi K3を理解する②──アーキテクチャの全体像

中国のMoonshotが開発した大規模言語モデル「Kimi K3」のアーキテクチャ解説だ。標準的なTransformerの構成要素を複数置き換えている。注意機構（Self-Attention）をKDA（Kimi Delta Attention）とGated MLAに分割し、フィードフォワード層（FFN）をMoE（Mixture of Experts）に置き換え、層間の繋ぎにAttention Residualsを採用している。総パラメータ数は約2.8兆に達するが、ベンチマーク「BrowseComp」ではGPT-5.6 Solを上回る91.2%の精度を約半分の推論コストで実現している。設計思想は「軽い処理と重い処理の住み分け」だ。KDAが大部分の計算を軽く効率的に担当し、必要な局面だけGated MLAで「本気を出す」。具体的にはKDAが約69層、Gated MLAが約24層で、3対1の比率になっている。企業のシステム最適化と同じ論理だ。毎回フルパワーで走るわけではなく、リソースが必要な箇所だけに集中投下する。AIモデルの設計も同じ発想で進化している。昔は「より大きく、より計算量が多いモデルが強い」という単純な構図だった。今は「どの計算を重くして、どこを軽くするか」という戦略的な設計が主流になっている。その結果が「精度は同等か上回りながら、コストと速度で2倍の改善」といった実績に繋がるわけだ。この哲学は、企業のAI導入にも影響を与える。全ての質問に同じモデルを使う必要はないし、全ての処理を最新の大型モデルに預ける必要もない。用途によってモデルを使い分け、必要な局面だけ高性能を投入する戦略が現実的だ。企業のAI導入担当者にとっての教訓は、「推論コスト削減」がもう他人事ではないということだ。新しいモデルを選ぶときは、単純に精度で比較するのではなく「精度×コスト×速度」の総合的なバランスで判断する時代になった。同じ精度なら、安くて速いモデルが圧倒的に優位だ。Claude や ChatGPT を選ぶときも、この視点が大事になってくる。