Olmo-core 3を発表、大規模MoE向けのオープンでスケーラブルなトレーニング基盤

アレン研究所がオルモ・コア3を発表した。オープンなMoE（混合専門家モデル）トレーニング基盤で、兆パラメータ規模まで効率的にスケーリング可能になるという触れ込みだ。従来の実装比で2.7倍のスループット向上を達成し、エキスパート数を8から128に増やしても、トークンあたりのアクティブパラメータ数はほぼ変わらない仕組みになっている。技術的には分散データ並列化によってエキスパート間のルーティング通信ボトルネックを解いた。

興味深いのは「オープンなトレーニング基盤」という戦略そのものだ。グーテーやクロードは開発ノウハウと所有権で囲い込むのに対し、オルモは基盤そのものを学術向けに公開する。MoEは計算効率が上がる代わりにエキスパート間通信がボトルネックになりやすいという古くからの技術課題を、工学的な工夫で突破している点も重要。パラメータ数を増やすほど効率は落ちるという宿命を、実装レベルでの設計で回避した。大手企業しか手を出せないとされたLLM開発の敷居が、実装可能性の側面から下がり始めた意味は大きい。

アカデミック機関や経営規模の小さい研究開発企業にとっては、このようなオープン基盤の登場が参入機会になる。今後AIモデル開発の競争軸は「ベンチマーク性能」から「オープン基盤による小回りの効きやすさ」へ移り始めるだろう。