NeoMME、効率的なマルチモーダル・多言語エンコーダ

NeoMMEは、テキストと画像をどちらも扱える多言語・マルチモーダルのエンコーダで、260Mと800Mの2サイズが公開されている。多くの視覚言語モデルは、画像用に別に事前学習した視覚エンコーダと、文章を生成するデコーダを組み合わせている。NeoMMEはそれらを使わず、単一の双方向Transformerでテキストトークンと画像パッチを同時に処理し、マスク付き離散拡散という目的で最初から学習させた。検索や分類では文章を生成する必要がないため、この構成は計算と容量の無駄を減らすことを狙っている。

面白いのは、「しゃべらない検索エンジンなら、しゃべる脳みそはいらない」という割り切りだ。ページ画像で検索する手法ColPaliの流れを汲み、NeoMME-Retrieverは密なベクトルと後期相互作用の埋め込みを一度の計算で返す。記事の数字で最も目を引くのは、ページあたりの後期相互作用インデックスが約1.5MBから6kBに縮み、255分の1になった点だ。検索精度は基準の95%超を保つという。ただし、これはベンチマーク上の話であり、自社の図面や古いスキャン文書で同じ比率になるかは試してみるまで分からない。研究段階の数字を、そのまま現場の性能保証と読まない冷静さが要る。

中小企業の実務では、マニュアルや見積書など大量のPDFを検索させたいとき、索引の容量と処理時間が導入コストを左右する。将来こうした軽量な検索モデルが使えるようになれば、高性能なサーバーを買わずに社内文書検索を組める可能性がある。Hugging Face Transformersで公開され、Apache 2.0ライセンスで配布されるので、まずは技術者が手元の文書で小さく試せる段階にある。