PrismMLが小型LLMをQualcomm搭載スマートグラスに

Caltechの研究者が設立したPrismMLが、QualcommのSnapdragon AR1 Gen 1チップを搭載したスマートグラスで動作する小型言語モデルを発表した。「1-bit Bonsai LLM」と呼ばれるこのモデルは、通常のLLMを4分の1に圧縮しながら、性能をほぼ失わない。2億パラメータのビジョン・言語モデルで、ウェアラブルデバイス上でリアルタイムに動作し、ユーザーが「今見ているこの物体は何か」と問いかけるとその場で判断・回答できる。クラウド通信は不要で、デバイス内で全て完結する。

従来のAI導入では、クラウドの強力な計算能力に頼るしかなかった。だが通信遅延、プライバシーリスク、接続できない環境での動作不可という3つの制約があった。PrismMLの小型化技術は、この3つを一気に解決する。特に実務的には、「デバイス上で即座に判断が必要」な現場こそAIの真の価値がある。データセンターで1秒の遅延より、現場での即答が金になる業務は多い。製造業の不良検査、現場保守での部品判定、営業現場での顧客属性判断—これらはネットワーク接続に頼れない環境が大半だ。

中小企業の製造・物流・営業現場にとって、これは「AIをようやく自社の手に取り戻す」瞬間になる。クラウド企業に頼らず、自社の機械や拠点で直接AIを動かす。社員のスマートグラスに小型AIが入り、工場の検査ロボットに小型AIが載り、営業の提案端末に小型AIが走る。こうした「分散型AI」が当たり前になれば、導入の心理的障壁は大きく下がる。何より、データが社内に留まるという安心感が、導入をぐっと後押しする。