Appleの新AI推論フレームワーク Core AI に最速でOSSを建てた

Appleが新しいAI推論フレームワーク「Core AI」を発表した直後、既存のCoreMLエコシステムを構築していた開発者が、いち早くOSSの実装を公開した。Gemma 4やQwen3といった、Apple公式がまだサポートしていないモデルをCore AI形式に変換し、iPhoneで直接実行できるようにしたのだ。このスピード感には、エッジAIの実装段階の今が見える。AIの鬼が注目するのは「プロトタイプから本番までの距離」だ。大手クラウド企業は大規模モデルを推す。だがiPhoneのような末端デバイスでLLMを動かすには、多くの実装上の罠を自分で乗り越える必要がある。torch.exportからの変換、specialization（デバイス初回ロード時の重いコンパイル）のキャッシング、Neural EngineへのFP16制限への対応、KVキャッシュ状態の持続——これらは公式ドキュメントだけでは分からない知見だ。OSS実装に含まれるのは、この「現場の失敗」まで記録したノウハウだ。つまり企業が独自実装するより数ヶ月早く、本当に動くコードが手に入るということだ。中小企業が顧客向けのAIアプリを企画するときの参考値は、これだ。クラウドAPI経由ではなく、自社のエッジデバイスでAIを走らせたいなら、「有志の先駆者がOSSで何を公開しているか」を見ろ。そこが実装の現実形だ。