埋め込みモデルの選び方：次元数・多言語対応・コストを初心者向けに整理する

埋め込みモデル選びで一番バカにされる誤解は「次元数が高いほど精度が上がる」という仮説だ。実際には次元数は意味の地図の解像度に過ぎず、細かいほど良いわけではない。保管量が増え、検索速度が落ちて、料金も跳ね上がる。それなのにベクトル検索の記事を読むと「最高の精度を求めるなら大きいモデルを」みたいな話が平気で出てくる。これは日本の製造業の「スペック至上主義」と同じ罠だ。手元の文書がどのくらい細かく区別されれば事足りるのか、まずそこを問うべきなのに、スペック表を見ながら最大値を選んでしまう。

多言語対応も同じだ。カタログに「multilingual対応」と書いてあっても、自社の日本語ドキュメントの言い回しで実際に試さない。「返品したい」と「買ったものを返したい」が同じ意味として認識されるか。実文書での言い回しゆらぎは、ベンチマークではなかなか見えない。むしろ公開ベンチマークの高いモデルが自社向けに失敗するケースすらある。

そして実務で一番痛いのが、モデルを乗り換えた時だ。過去に埋め込みしたベクトルと新しいモデルで埋め込みしたベクトルは、見た目は数列だが意味空間が全く別物。「次元数が同じだから流用できるだろう」は通用しない。旧ベクトルと新ベクトルを混ぜて検索すると、精度が破綻する。中小企業は大量のベクトルを抱えることになったら、モデル変更のコストをあらかじめ見積もっておくべき。やり直しのコストが初期選定の数十倍になることもある。最初は小さい文書セットで候補モデルを試し、「自分たちの言い回しで本当に近いと判定されるか」を目で見て確認する。それだけで迷いはずっと減る。