結論から書きます。公開されているベンチマークスコアは、そのままではモデル同士の比較材料になりません。同じLLaMA 65Bの同じMMLUというベンチマークで、報告値が63.7と48.8に割れている実例が示されました。差の原因は測定条件の違いです。点数は参考値として扱い、採否は自社データでの試行で決めてください。
Every Eval Everは何を集めたのか
Hugging FaceとEvalEval Coalitionが、あちこちに散らばっていたAIモデルの評価結果を一箇所に集約し、Hugging Faceのモデルページ上から参照できるようにした、という発表です。あわせて、コミュニティが自分で走らせた評価結果を投稿できる仕組み（Community Evals）も用意されました（出典：Hugging Face および EvalEval Coalition（著者として Sree Harsha Nelaturu、Avijit Ghosh、Nathan Habib、Jan Batzner、Leshem Choshen、Irene Solaiman、Julien Chaumond を記載）、2026-06-30、https://huggingface.co/blog/eee-community-evals）。
先に、読者が数字の出どころを判断できるよう明示しておきます。この記事は Hugging Face 社自身による発表であり、同社は当該製品（モデルページおよびCommunity Evals機能）の提供者です。自社プラットフォームへの投稿・利用を促す立場から書かれた情報である、という前提で読む必要があります。第三者による検証結果ではありません。
集約された規模は以下のとおりです。いずれも記事公開時点（2026年6月30日）の累計値で、対象は公開されているモデル評価結果です。
| 項目 | 数値 | 条件 |
|---|---|---|
| 格納されている評価結果 | 229,000件 | 記事公開時点の累計。公開モデル評価結果が対象 |
| カバーしているモデル | 22,000超 | 同データストア内、記事公開時点 |
| 収録ベンチマーク | 2,200 | 同データストア内、記事公開時点 |
| 統合・正規化した報告フォーマット | 31種類 | 集約対象とした既存の報告形式の数。期間・母集団の詳細は原文に記載なし |
| コンバーターが公式対応するベンチマーク | 4種類 | MMLU-Pro、GPQA、HLE、GSM8K。記事公開時点 |
31種類という数字が、この取り組みの実態をよく表しています。同じ「評価結果」でありながら、報告の書式が31通りに分かれていた。つまり、これまでスコアを横並びで比べようとしても、そもそも書式が揃っていなかったということです。
63.7と48.8はなぜ割れたのか
この記事で最も重要な数字は、229,000でも22,000でもなく、63.7と48.8の2つです。
同一モデル（LLaMA 65B）を、同一ベンチマーク（MMLU）で測った報告値が、63.7と48.8に食い違っています。約15ポイントの開きです。原文はこの差の要因を、評価手法すなわち測定設定の違いによるものとしています。プロンプトの与え方、生成パラメータ、採点方法といった条件が異なれば、同じモデルの同じ試験でも点数はここまで動く、ということです。
なお、この比較が何件の報告を突き合わせた結果なのかは原文に記載がありません。「2つの報告が割れた」という事例なのか、多数の報告のうち最大と最小を取った値なのかは判断できません。ここは割り引いて読む必要があります。
そして著者ら自身が、より不都合な事実を認めています。評価条件（測定設定）は一般に未記載であることが多い、と。この一文の重みは大きい。集約された229,000件の評価結果のなかにも、条件が揃っていない値、条件が書かれていない値が含まれ得るということです。集めて並べたからといって、比較可能になったわけではありません。
中小企業の実務にどう関係するのか
「うちには関係ない話では」と思われるかもしれませんが、直結します。AIツールやモデルを検討するとき、ベンダーの資料や比較記事には必ずと言っていいほどベンチマークスコアが載っているからです。
- 「A社のモデルはMMLUで◯点、B社は△点」という比較は、両者の測定条件が揃っていなければ意味を持ちません。63.7対48.8という事例が示すとおり、条件次第で15ポイント動き得ます
- 提案を受ける側としては、スコアを持ち出された時点で「その数値はどの設定で測ったものですか」「出典はどこですか」と確認するのが妥当です。答えられない提案は、その項目を判断材料から外してください
- 逆に、条件を明示できるベンダーは信頼度が高いと見てよいでしょう。開示できるかどうか自体が、ひとつの選別基準になります
もうひとつ、この動き自体は中小企業にとって追い風です。横断的な評価データベースが整備されれば、「あるモデルについて、他の人はどう測って何点だったか」を確認する手間が下がります。これまでは各社の発表資料を個別に当たるしかなかったものが、一箇所で裏取りできる方向に向かう。モデル選定にかけるコストは下がる見込みです。ただし現時点では、コンバーターが公式に対応するベンチマークは4種（MMLU-Pro、GPQA、HLE、GSM8K）にとどまり、収録されている2,200のベンチマーク全体を網羅してはいません。整備は途上です。
評価の基準を自社で持つという発想については、自社の評価基準をどう作るかも参考にしてください。
この発表の限界はどこか
誠実に書けば、この取り組みには相応の弱点があります。導入判断の材料にする前に、以下は把握しておくべきです。
- 発信元である Hugging Face 自身が、記事で紹介している Community Evals および Every Eval Ever 連携機能の提供者です。自社プラットフォームの利用を促す利害関係のある情報です
- 評価条件が一般に未記載であることが多いと著者自身が認めており、229,000件のなかに条件不明の値が含まれ得ます
- コンバーターの公式対応は4種のみで、2,200ベンチマークの大半は対象外です
- 評価結果の投稿はコミュニティ依存です。誰がどの条件で実行したかは投稿者のメタデータ記載精度に左右され、サンプル単位の出力ファイルの添付は任意とされています。つまり「検証可能な形で投稿されているとは限らない」ということです
- 日本語性能、推論コスト、レイテンシといった、中小企業の業務適用に直結するデータは本文に含まれていません
最後の点は特に効きます。日本の中小企業が実際に気にするのは「うちの見積書のPDFをちゃんと読めるか」「社内用語を誤変換しないか」「1件あたりいくらかかるか」であって、MMLUの点数ではありません。この種の指標は、公開ベンチマークからは原理的に出てきません。コスト側の見方はコストを織り込んだ評価で扱っています。
TOEの読み筋
ここからは株式会社TOEとしての見立てです。Every Eval Ever のデータストアおよび Community Evals 機能について、TOEでは未実施です。実際に投稿・参照した経験に基づく評価ではなく、公開されている発表内容からの判断であることを先に断っておきます。
そのうえで、この発表の実務的な価値は「229,000件が集まった」ことよりも、「同じモデルの同じ試験でスコアが割れる」という事実が、業界の中心的なプラットフォームから公に示された点にあると見ています。これまで漠然と言われていた話に、63.7と48.8という具体的な数字が付きました。稟議や社内説明で使える形になった、ということです。
TOEとしてお勧めする運用は3点です。
- スコア比較を含む提案を受けたら、測定条件の開示を求める。プロンプト設定、生成パラメータ、採点方法のいずれかが不明なら、その比較は判断材料から外す
- 最終判断は、自社の実データ・実業務での小さな試行（PoC）で行う。自社の帳票20件、自社の問い合わせメール50件といった規模で構いません。公開ベンチマークの順位より、自社データでの結果のほうが常に強い証拠です
- 稟議書に「ベンチマーク値は参考、採否は自社検証で決定」と一行入れておく。本記事の63.7と48.8はその根拠として使えます
小さく試すところから始める手順は中小企業のAI導入・最初の一歩にまとめてあります。ツール選定そのものの考え方はツール選定の判断軸を併せてご覧ください。
まとめ
- Hugging FaceとEvalEval Coalitionが、22,000超のモデル・2,200のベンチマークにわたる229,000件の評価結果を集約した（記事公開時点の累計、公開モデル評価結果が対象）。報告フォーマットは31種類に分かれていた
- 同一モデル（LLaMA 65B）・同一ベンチマーク（MMLU）で報告値が63.7と48.8に割れており、差の要因は測定設定の違いとされる。ただし何件の報告を比較したかは原文に記載がない
- 著者自身が、評価条件は一般に未記載であることが多いと認めている。集約された229,000件にも条件不明の値が含まれ得る
- この記事は Hugging Face 社自身による発表であり、同社は当該機能の提供者である。コンバーターの公式対応は4種（MMLU-Pro、GPQA、HLE、GSM8K）にとどまり、日本語性能・コスト・レイテンシのデータは含まれない
- 実務では、スコア比較を持ち出す提案に測定条件の開示を求め、採否は自社データでの小さな試行で決める。TOEでは当該機能を未実施であり、本稿は公開情報に基づく判断である