結論から書きます。モデルの一般的な評判は、自社固有の言葉づかいを扱えるかどうかの根拠になりません。エミラティ方言を扱う1,173問のベンチマークで54モデルを評価したところ、正答率は25.66%から82.18%まで開きました。自社の言葉で作った小さな正誤問題セットで実測してから採用すべきです。

Alyahとは何を測ったベンチマークか

Alyahは、アラビア語のなかでもエミラティ方言（UAEで話される地域方言）と、その背後にある文化的文脈をLLMがどこまで扱えるかを測るために作られたベンチマークです。問題数は1,173問。エミラティ方言のネイティブ話者から収集し、人手でキュレーションしたうえで4択形式に整形しており、正解の選択肢がどの位置に来るかはランダム化されています（出典：Technology Innovation Institute（TII、UAE）／Hugging Face上の tiiuae アカウント、2026-01-27、https://huggingface.co/blog/tiiuae/emirati-benchmarks）。

先に利害関係を明示します。この記事が扱う数字は、Technology Innovation Institute（TII）自身による発表であり、同社は評価で首位となったFalconシリーズの提供者本人です。 つまり「自社モデルが最上位に来る評価結果を、自社が設計したベンチマークで公表している」という構図です。何を問題に選ぶか、どの文脈を「正解」とするかという設計そのものに発信者の立場が入り得ます。数字はその前提で割り引いて読んでください。

なお著者自身も、この結果は「Alyahの範囲内での参考値であり、絶対的なランキングではない」と明言しています。ここは強調しておきます。ベンチマークの数字を「モデルの総合力の順位」として持ち出すのは、発表した本人が否定している読み方です。

一次資料の実測：同じ問題セットで正答率が3倍以上開いた

評価の規模と結果は次のとおりです。すべて条件を添えて記載します。

項目 数値 条件
ベンチマーク総問題数 1,173問 エミラティ方言ネイティブ話者から収集し人手キュレーション。4択形式、正解位置はランダム化。話者数・収集期間の記載なし
評価対象モデル数 54モデル 内訳はベースモデル23、指示調整（instruction-tuned）モデル31。アラビア語特化（Jais, Allam）、多言語汎用（Qwen, LLaMA）、地域特化（Fanar, AceGPT）を含む
ベースモデル最高正答率 74.68% google/gemma-3-27b-pt。Alyah 1,173問・4択での正答率。ベースモデル23本中の首位
指示調整モデル最高正答率 82.18% falcon-h1-arabic-7b-instruct。同一ベンチマーク。ただし発信元TII自身のFalconシリーズ
ベースモデルの正答率レンジ 27.45%〜74.68% 4択のため偶然正解は25%相当。下位モデルはほぼランダム水準
指示調整モデルの正答率レンジ 25.66%〜82.18% 同上。下限は偶然正解水準とほぼ同じ

読むべき点は上位の数字ではなく、レンジの下限です。指示調整モデルの下限25.66%は、4択の偶然正解にあたる25%とほとんど区別がつきません。つまり54本のなかには、この問題セットに関する限り「答えを選んでいるのか、当てずっぽうなのか判別できない」モデルが含まれていたということです。

そして、その下限と上限が同じ問題セットの上で並んでいます。一般に名前の知られた汎用多言語モデルであっても、方言と文化的文脈が絡む領域では明確に劣化したという結果です。パラメータ規模の大きさや総合的な評判は、この差を説明しませんでした。

問題の内訳：難しいのは「言語・方言」そのもの

Alyahのカテゴリ別問題数は次のように偏っています。

  • 言語・方言：619問 / 1,173問（難易度：難）
  • 礼儀・価値観：173問
  • 比喩表現：121問
  • 歴史・遺産：89問
  • 宗教社会的配慮：78問
  • 挨拶・日常表現：61問
  • 詩・創造的表現：32問

全体の半分以上を占める最大カテゴリが「言語・方言」であり、しかも難易度が高いと位置づけられています。つまりこのベンチマークが主に問うているのは、知識量ではなく「その土地の言い回しを、その土地の人と同じように解釈できるか」です。

もうひとつの傾向として、ベースモデルより指示調整済みモデルのほうが概ね優位でした。最高値もベース74.68%に対し指示調整82.18%と、指示調整側が上回っています。ただしレンジの下限は指示調整側のほうが低く（25.66%）、「指示調整済みなら安心」という単純な話にはなっていません。有利なのは傾向であって、個別モデルの保証ではありません。

中小企業にとって、これは何の話なのか

エミラティ方言はほとんどの日本企業にとって直接の関心事ではないでしょう。ここから持ち帰るべきは、方言の話ではなく構造の話です。

「有名で大きいモデルなら、うちの業務でも賢いはずだ」という前提が、固有の言語文脈では成立しなかった。この構造は、業界用語・社内独自の言い回し・現場の慣習が絡むタスクにそのまま重なります。たとえば次のようなものです。

  • 業界内でしか通じない略語や型番の読み方（同じ語が業界外では別の意味になるもの）
  • 社内で長年使われてきた工程名・帳票名・部署の通称
  • 取引先ごとに異なる商習慣や、暗黙の敬語運用
  • 現場の職人が使う道具・状態の呼び分け

これらを含む処理をAIに任せる場合、モデル選定の判断材料は「世間の評判」ではなく「自社データで作った小さな正誤問題セットでの実測」であるべきです。Alyahの1,173問という規模は個社で真似できませんが、数十問から数百問なら現実的に作れます。実際、選定基準を自社側で持つ考え方については評価基準は自社で作るでも扱っています。

作り方はシンプルで構いません。自社の実データから正解が確定している事例を集め、4択にする。正解位置はランダムにする。それを候補モデルに同じ条件で解かせて、正答率を並べる。これだけで「評判では上位だが自社文脈では当てずっぽうと変わらない」モデルを、導入前に落とせます。ツール選定の考え方全般はAIツールの選び方も参照してください。

この結果の限界：書いておくべき不都合な点

数字を持ち出す以上、その限界も同じ大きさで書きます。

  • 発信元のTIIは、指示調整モデル部門で首位となったFalconシリーズの提供者本人であり、自社モデルが最上位に来る評価を自社で公表しているという利害関係がある
  • 著者自身が「これはAlyahの範囲内での参考値であり、絶対的なランキングではない」と明言している
  • 問題は4択のため偶然正解が約25%あり、下位モデルのスコアはランダム水準と区別しづらい
  • ネイティブ話者の人数、データ収集期間が本文に記載されていない
  • 評価対象はエミラティ方言という単一の地域・言語文脈であり、日本語や他業種へそのまま一般化できるのは「汎用モデルは固有文脈で劣化する」という傾向レベルまで
  • 多肢選択式の正答率であり、実際の業務での生成品質・有用性を直接測るものではない

最後の点は特に重要です。4択に正しく答えられることと、実務で使える文章を書けることは別の能力です。Alyahの82.18%は「この形式のこの問題群での正答率」であって、業務で役に立つ度合いの保証ではありません。自社で問題セットを作る場合も同じ制約がつきまといます。選択式は選定の足切りには使えますが、最終判断は実際の業務出力を人が見るしかありません。

TOEの読み筋：まずは足切り用の小さな問題セットから

ここからはTOEとしての見立てです。Alyahを用いた検証はTOEでは未実施であり、以下は公開情報からの読み筋です。

TOEでは、クライアント業務にAIを組み込む際のモデル選定について、一般的なベンチマーク順位を根拠にしない方針を取っています。今回の結果は、その方針を補強する外部事例だと受け止めています。特に、同じ問題セットの上で下限が偶然正解水準に沈むモデルが実在したという点は、「候補を絞る前に、自社文脈での足切りテストを一度通す」ことの費用対効果が高いことを示しています。

実務での適用順序としては、以下を想定しています。

  • 自社の確定事例から数十問規模の選択式セットを作り、候補モデルを同条件で走らせて明らかに弱いものを落とす
  • 残った候補について、実際の業務プロンプトで生成させ、出力を人が読んで判定する
  • 指示調整済みモデルを優先候補に置く。ただし「指示調整済みだから」を理由に実測を省かない
  • 業務内容が変わったら問題セットも更新する。一度作った基準を固定しない

第二段階を省いて正答率だけで決めるのは、この記事の限界の節に書いたとおり誤りです。選択式は入口であって結論ではありません。

まとめ

  • TIIが公開したベンチマーク「Alyah」は1,173問・4択で、54モデル（ベース23／指示調整31）を評価した
  • 正答率はベースモデルで27.45%〜74.68%、指示調整モデルで25.66%〜82.18%と大きく開き、下限は4択の偶然正解25%とほぼ区別できない
  • 最大カテゴリは「言語・方言」の619問（難易度：難）で、知識量より土地固有の言い回しの解釈を問う設計になっている
  • この発表はFalconシリーズ提供者であるTII自身によるものであり、著者自身も「絶対的なランキングではない」と明言している点を踏まえて読む必要がある
  • 中小企業への含意は、業界用語や社内独自の言い回しが絡むタスクでは評判ではなく自社データの小さな問題セットで足切りし、最終判断は実際の業務出力を人が見て行うこと（Alyahを用いた検証はTOEでは未実施）