Kimi K3を理解する①──まずは標準Transformerの理解から

中国のMoonshot AIが7月に発表したKimi K3は、オープンウェイトのモデルでありながら、GPT-5.6やClaudeといったクローズドモデルと一部のベンチマークで並ぶ性能を持つという。これ自体は論文も公開されているから、真偽は検証できる。ただし日本のメディアでは「新興企業が挑戦」という見出しで終わりがちで、何が本当に凄いのかを説明している記事は少ない。

標準的なTransformer（ほぼ全てのLLMの基礎）を理解したうえで、Kimi K3が「どこをどう置き換えたか」を比べないと、単なるベンチマークの数字に見える。本記事はそこに向けた第一段を担う。LLMの基本構造—埋め込み、Self-Attention、FFN、出力という4ステップ—をおさらいし、次回で「Kimi K3はこの部品の一部を違うやり方に置き換えた」という比較を可能にする。地味だが、これなしに理解は進まない。

経営者の視点では、技術トレンドの「理解」と「追随」は別だ。オープンウェイトモデルが無料で使える環境が整えば、GPTやClaudeの独占は終わる。ただし「Kimi K3を入れたら勝てる」ではなく、「このモデルの何が自分たちの仕事に効くか」を見極める目が要る。そのための予習が、この理解記事だ。ベンチマークだけで判断した企業と、構造を理解したうえで判断した企業の差は、半年後に出る。