結論から書きます。音声AIは「総合点でどれが一番か」では選べません。7つの能力次元で実測したところ、すべての次元で上位5位に入ったシステムは1つもありませんでした。読み上げに強い製品、対話に強い製品、聞き取りに強い製品は別物です。用途を先に決めてから選ばないと、選定を外します。
何を実測した論文なのか
「RW-Voice-EQ Bench: A Real World Benchmark for Evaluating Voice AI Systems」という論文です。音声AIを、読み上げ（TTS）・音声対話（STS）・音声認識（ASR）・音声理解という複数の側面から、実際の使用条件に近い形で評価するベンチマークを作り、多数のシステムを走らせた結果を報告しています（出典：arXiv:2607.14846、2026年7月16日（arXiv:2607.14846v1）、https://arxiv.org/abs/2607.14846v1）。
評価規模は次のとおりです。この記事では、ここに挙げた数字以外は扱いません。
| 測定項目 | 結果 | 条件 |
|---|---|---|
| 7次元すべてで上位5位に入ったシステム | ゼロ | TTS 31構成・496プロンプト・生成39,460件・人手評価785,679件 |
| TTS評価の人手レーティング数 | 78万5,679件 | 米英加の英語話者、1クリップあたり3名以上、モデル名を伏せて評価 |
| 音声対話（STS）の人手レーティング数 | 4万8,053件 | 15構成・50シナリオ・生成1,143件 |
| 音声からの感情の絶対識別 正解率 | 最高22.7% | 音声理解タスク150問、18モデル（音声言語モデル＋話者照合特化） |
| 2音声を比べてどちらが感情的かの相対比較 正解率 | 88.5%（Gemini 3.1 Pro） | 同上。絶対識別と対照的に高い |
| 話者照合（同一人物か判定）正解率 | 89.5%（専用モデルTitaNet Large）／汎用モデル最高69.0% | 200問、別クリップ条件 |
| 音声認識の最高精度（全条件平均WER） | 6.72%（ElevenLabs Scribe） | ASR 40システム。訛り230クリップ（約1時間）、感情620クリップ（約50分）、雑音460クリップ（約40分）、会話14,142セグメント（15.4時間） |
| オープンソース音声認識 | 7.43%（Qwen3-ASR-1.7B）／8.34%かつ実時間の411倍速（Parakeet-TDT-0.6B-v3） | 同上、英語のみ |
| ネイティブ対非ネイティブ話者のWER悪化幅 | +2.15ポイント〜+8.04ポイント（ElevenLabs Scribe対AssemblyAI Universal-3 Pro） | 訛り音声230クリップ、英語 |
| 音声のみの条件でスコアが下がったシステム数 | 10システム | STS 15構成のうち、ある刺激セットで音声入力と文字起こし入力を比較 |
| AI審査員と人間評価の相関 | r=0.47 → r=0.25 | TTS評価。テキストから推測できる感情の手がかりを除くと低下 |
| ベンチマーク最適化の痕跡が出たモデル数 | 11モデル | VoxPopuliデータセットでの検証。音声をマスクしても該当単語を出力する等 |
要点を先に整理します。
- 評価対象は1製品ではなく、読み上げ31構成・音声対話15構成・音声認識40システムという広い横並びである
- 人手評価は合計で78万5,679件＋4万8,053件と大規模で、モデル名を伏せた条件で集められている
- ただしASR評価は初回リリースでは英語のみであり、日本語の結果は含まれていない
「7次元すべてで上位5位ゼロ」が意味すること
読み上げ音声（TTS）の能力を7つの次元に分けてランキングしたところ、すべての次元で上位5位に入ったシステムは1つもありませんでした。条件はTTS 31構成・496プロンプト・生成39,460件・人手評価785,679件です。
これは「まだ勝者が決まっていない」という話ではありません。次元ごとに求められる性質が違うため、1つの製品がすべてを取ることが構造的に起きにくい、という話です。表現力の豊かさを取りにいけば声の安定性が犠牲になり、安定性を優先すれば読み上げが平板になる、という関係が現れています。
中小企業の実務に置き換えると、こうなります。
- 電話の自動応答や案内アナウンスは、抑揚よりも声の安定と聞き取りやすさが要る
- 動画ナレーションや商品説明は、逆に表現力の次元が効く
- この2つを1製品でまかなおうとすると、どちらかが必ず妥協になる
「どのモデルが一番いいか」という問いの立て方そのものを変える必要があります。用途を先に3つ以内に絞り、その用途で効く次元だけを見る。評価軸を自社で決める考え方は自社の評価基準を先に決めるでも扱っています。
訛りへの強さは製品間で4倍近く違う
実務に一番直結するのはここです。ネイティブ話者と非ネイティブ話者でWER（単語誤り率）がどれだけ悪化するかを比べると、悪化幅は+2.15ポイントから+8.04ポイントまで開きました（ElevenLabs Scribe対AssemblyAI Universal-3 Pro、訛り音声230クリップ、英語）。同じ「音声認識」でも、訛りのある話者に対する耐性は製品によって4倍近い差があるということです。
外国人スタッフが在籍する現場、訛りのある顧客からの電話が多い地域、方言が濃い取引先。こうした条件がある会社では、この差がそのまま業務精度の差になります。カタログ上の平均精度だけを見て決めると、自社の実条件で外します。
一方で、音声認識そのものの水準は実用域に入っています。全条件平均WERの最高は6.72%（ElevenLabs Scribe、ASR 40システム、訛り230クリップ・感情620クリップ・雑音460クリップ・会話14,142セグメント15.4時間）でした。オープンソースでも7.43%（Qwen3-ASR-1.7B）が出ており、Parakeet-TDT-0.6B-v3は8.34%かつ実時間の411倍速です。
- 精度を最優先するなら商用APIの上位を選ぶ
- 音声データを社外に出したくない、あるいは大量の過去録音を一括で処理したいならオープンソースの選択肢が現実的な精度に達している
- 411倍速という条件は、1時間の会議録音を数十秒級で回せることを意味する（英語条件での測定値）
社内で完結させる方向の検討はローカルLLMという選択肢も合わせて読んでください。
「感情を察するAI」は業務ルールの根拠にできるか
できません。音声から感情を当てる絶対識別の正解率は、最高で22.7%でした（音声理解タスク150問、18モデル）。一方、2つの音声を比べて「どちらがより感情的か」を当てる相対比較では88.5%（Gemini 3.1 Pro）に達しています。比べることはできるが、言い当てることはできない、という状態です。
さらに、音声対話（STS）の評価では、音声そのものを渡した場合と文字起こしだけを渡した場合を比べたとき、10システムが音声のみの条件でスコアを下げました（STS 15構成のうち、ある刺激セットでの比較）。音声対話AIの多くが、実際には声の情感を使わず文字起こしベースで動いている可能性を示す結果です。
「怒っている顧客を音声から察して優先対応に回す」といった設計は、期待値を下げるべきです。感情スコアを自動判定して業務ルールの分岐条件にするのは時期尚早です。使うなら、人が後から確認する参考情報の位置に留めるのが妥当です。
話者照合（同一人物かの判定）も同じ構図でした。専用モデルTitaNet Largeが89.5%だったのに対し、汎用の音声LLMは最高69.0%です（200問、別クリップ条件）。汎用モデルに専門タスクを兼ねさせると落ちます。
論文が認めている限界
そのまま自社の判断材料にする前に、著者自身が挙げている制約を押さえてください。
- ASR評価は初回リリースでは英語のみ。日本語を含む他言語の結果は無く、日本の中小企業がこの数値をそのまま当てにはできない
- 専門モデル・汎用SLM審査員・人間レーターを全評価次元で体系比較することは未実施で、今後の課題と明記されている
- 感情カテゴリが多く意味的に重複するため、完全一致方式の評価は不当に難しく、モデルの実力を過小評価している可能性を著者自身が認めている
- 一部の音声言語モデルは1本の連続音声内の「前半」「後半」を正しく切り分けられず、比較タスクの条件が公平でない
- ある領域で強いことが別領域の性能を予測するかは検証しておらず、次元ごとの最適化は記述にとどまり機序は分析されていない
- 一部タスクで評価者間のばらつき（標準偏差）が大きく、サンプルの曖昧さを示すが、緩和策は詳述されていない
- ベンチマーク最適化の診断結果は予備的で、拡張は今後の作業とされている
- 評価者は米英加の英語話者に限定されており、文化・言語圏が違えば「自然さ」「表現力」の判定は変わりうる
加えて、11モデルでベンチマーク最適化の痕跡（音声をマスクしても該当単語を出力する等、暗記・過剰適合の証拠）が検出されています（VoxPopuliデータセットでの検証）。公開ベンチマークのスコアを鵜呑みにできない、という警告が同じ論文の中に入っている点は重要です。
AI審査員の限界も出ています。TTS評価でSLM（音声言語モデル）judgeと人間レーターの相関を見ると、r=0.47でした。ここからテキストで推測できる感情の手がかりを除くと、r=0.25まで落ちます。「AIに評価させれば人手評価を省ける」という前提は、少なくとも音声の質評価では成立しません。評価の設計思想については評価コストまで含めて考えるも参考になります。
TOEの読み筋
TOEでは、この論文の評価環境を用いた検証は未実施です。日本語ASRの自社測定も未実施です。そのうえでの読みを書きます。
音声AIの導入相談で最初に聞かれるのは、ほぼ「どれが一番精度がいいか」です。この論文は、その問いに答えが無いことを7次元・上位5位ゼロという形で示しました。したがってTOEとしては、相談の入口を「用途の分解」に置き換えるのが正しいと読んでいます。
- 読み上げ（案内音声・ナレーション）
- 対話（電話一次受け・受付）
- 聞き取り（議事録・音声入力）
この3つは別プロジェクトとして扱い、それぞれ別に製品を選ぶ。1つのベンダーで統一したいという要望は理解できますが、統一の代償は次元ごとの妥協です。
もう1点、日本語という条件がこの論文の外にあることを重く見ています。訛りギャップが+2.15ポイントから+8.04ポイントまで開いたという結果は、言語条件が変われば順位が入れ替わりうることの傍証でもあります。英語ベンチマークの順位表を日本語業務にそのまま持ち込むのは、根拠として弱い。自社の実録音を数十本用意して短時間で比較する、という手順を先に置くのが現実的だと考えています。
コスト面では、オープンソースで7.43%、速度重視で8.34%かつ実時間の411倍速という選択肢がある点が効きます（いずれも英語条件）。日本語で同水準が出るかは未検証ですが、少なくとも「音声認識は高額な商用APIしかない」という前提は崩れています。導入の入口設計は中小企業の最初の一歩も合わせてご覧ください。
まとめ
- 7次元すべてで上位5位に入ったTTSはゼロ（31構成・496プロンプト・生成39,460件・人手評価785,679件）。総合点1位を探す選び方は成立しない
- 訛りへの耐性は製品間で+2.15ポイント〜+8.04ポイントと4倍近い開きがある（訛り音声230クリップ、英語）。外国人スタッフや訛りのある顧客が多い現場では選定がそのまま精度差になる
- 音声からの感情の絶対識別は最高22.7%（150問、18モデル）。相対比較は88.5%（Gemini 3.1 Pro）と高いが、感情自動判定を業務ルールの分岐条件にするのは時期尚早
- 音声認識自体は実用域。最高6.72%（ElevenLabs Scribe）、オープンソースでも7.43%（Qwen3-ASR-1.7B）、8.34%かつ実時間411倍速（Parakeet-TDT-0.6B-v3）
- ASR評価は英語のみ、評価者は米英加の英語話者限定。日本語業務にそのまま当てはめられないため、自社の実録音で比較する工程を先に置くのが妥当（TOEでは日本語ASRの自社測定は未実施）