Open ASR リーダーボード、グローバルサウス言語初採用

ベンチマークは、何が作られるかを決める。Open ASR Leaderboardで高いスコアを出したモデルは採用され、改良の対象になる。逆に、ランキングが測らない能力は伸びにくい。今回、このリーダーボードに初めてグローバルサウス言語が加わった。対象はHindiで、話者は5億人を超える。これまでの多言語タブはヨーロッパ系の言語だけだったので、その空白を埋める形になる。追加されたのはMonsoon en-INとMonsoon hi-INの2つの評価セットだ。

AIの鬼の視点で言えば、面白いのは「何を測るか」より「誰の声を測るか」に踏み込んだ点である。音声認識の評価は、WERという一つの数字で語られてきた。しかしこの数字は平均でしか物を言わない。人種による差を扱った研究では、商用システムの誤り率が黒人話者で白人話者のおよそ2倍だったと報告されている。性別、年齢、アクセントによる差も指摘されてきた。従来のテストセットは「何が話されたか」は記録しても、「誰が話したか」はほとんど記録してこなかった。平均点が高くても、特定の人たちには使いものにならないモデルが1位に並ぶ。これが評価の盲点である。

Monsoonは4,888人の話者から集められ、4つの分割はすべて話者が重ならない形で作られた。各話者には12の属性が記録されている。地域、年齢、性別、語彙、機材、音響環境、話し方、話す速度、正解の表記揺れという9つの軸で多様性を持たせた点が設計の要である。Hindiは表記の揺れが多く、英語向けの正規化処理では吸収できない。中小企業が音声認識を導入するなら、リーダーボードの順位より、自社の顧客や現場の話し方で数十件試すのが確実だ。ランキングは入口にすぎない。