Kimi K3の事後学習を技術報告書から読み解く

中国のMoonshot AIが公開した総パラメータ数2.8兆のMixture of Experts型モデル「Kimi K3」は、事後学習（ファインチューニング後の強化学習）に独自のアプローチを採用している。技術報告書から読み取れるのは、SFT（教師ありファインチューニング）→RL（強化学習）→MOPD（マルチティーチャー知識蒸留）の3段階パイプラインで、各段階を精密に設計している点だ。特にSFT段階から量子化認識学習（QAT）を適用し、エキスパート重みをMXFP4で学習させることで、メモリ効率と学習の安定性を両立させている。

AIの鬼から見ると、ここで興味深いのは「オープンウェイト制約の中での戦略的な選択」だ。GPT-5.6やClaude Fable 5といった最先端モデルには及ばない立場にありながら、Kimi K3が採った道は「既存技術の堅実な組み合わせ」ではなく「テンプレート設計」「段階的量子化」といった、モデルそのものではなく学習プロセスの工夫にある。例えば、XTMLという独自のチャットテンプレートは、OpenAIのHarmony形式に着想を得ながらも、構造化されたエージェントトラジェクトリーを明示的に表現するために設計されている。これは「オープンなパラメータでは追いつけない領域」を別のレイヤーで補う発想だ。中国企業がグローバル標準と異なる実装を大胆に採用できるのは、独立したエコシステムの利点でもある。

ビジネスの実務では、このモデル選択が意味することを理解しておく必要がある。オープンウェイトモデルを導入する場合、パラメータ数だけでなく「どの段階でQATを入れるか」「推論時の量子化スキームは何か」といった設定が、実装コストと精度に直結する。Kimi K3の報告書は、表面的には技術情報だが、実務的には「オープンモデルをコストパフォーマンス良く運用するためのチェックリスト」として機能する。自社システムにオープンモデルを組み込む際、単に「これが最新」ではなく「この実装方式が自社環境に合っているか」を検討する切り口が、この報告書には隠されている。