埋め込みモデルのEmbedding vectorsのばらつきをどう比較するか考えてみた

RAGやセマンティック検索で活躍する埋め込みモデル（Embedding model）を比較するのは、見た目より複雑だ。統計的な観点から書かれたこのメモが指摘するのは、「異なるモデル同士の性能を、単純な数字で比べてはいけない」という至極当然だが実務では無視されている原則である。埋め込みモデルは文やテキストを高次元のベクトル（数値の並び）に変換し、そのベクトル同士のコサイン類似度で意味の近さを測る。だが、モデルによって「ばらつき」の出方が全く異なる。あるモデルはすべてのベクトルに共通の「向き」を含み、別のモデルは意味の違いを大きな角度で表す。つまり、散らばり具合の指標は、モデルの「癖」に左右されて、直接には比較できない。

さらに厄介なのは、次元の違い、目盛りの違いまで加わると、数字の羅列だけから「どちらが良いモデルか」は判断不可能になるということだ。著者が提示するのは、こうした「癖」に強い統計指標の取り方であり、グループ間の分離度を測る$R^2$のような不変量を使う手法だ。距離の順序は保たれるが、絶対値は参考にならない。これは、埋め込みモデルの実装者が「なぜベンチマークスコアの高い順では決まらないのか」という疑問に対する、データサイエンティストからの答である。

中小企業の実務では、埋め込みモデルを選ぶ際に「ベンチマークスコアが高い方が良い」という単純な判断をしてはいけない。重要なのは、自社の具体的なテキスト（商品説明、FAQ、取扱説明書）を複数のモデルで埋め込み、実際の検索精度を試すことだ。公開ベンチマークと自社データでは結果が異なる。統計的な厳密さを欠いた比較は、ときに導入後の失敗を招く。