結論から言えば、ベンチマークの順位差はツール選定の主軸になりません。Epoch AIの分析では、2023年以降に作られた39ベンチマークの分散の約半分が第1主成分ひとつで説明でき、各ベンチマークの重みも0.19〜0.30と狭い範囲に収まりました。多くのベンチマークは、ほぼ同じ「総合力」を測り直しているということです。

一次資料は何を測ったのか

Epoch AIのGreg Burnham氏による記事「Benchmark Scores = General Capability + Claudiness」は、同社のEpoch Capabilities Index（ECI）の基礎となるベンチマーク群に主成分分析をかけた結果を報告しています（出典：Epoch AI（著者: Greg Burnham）、2025-11-20、https://epoch.ai/gradient-updates/benchmark-scores-general-capability-claudiness）。

まず前提として、この記事はEpoch AI自身による発表であり、同社は当該分析の基礎となる指標Epoch Capabilities Index（ECI）の提供者です。本文でも「one of the lessons of our recent work on the Epoch Capabilities Index (ECI)」と自社の取り組みとして言及されており、自社指標の意義を支持する方向の分析である点は割り引いて読む必要があります。数字の出どころが独立した第三者ではない、ということを最初に押さえてください。

分析の対象範囲は次の通りです。

項目 内容
対象ベンチマーク数 39（ECIの基礎となるベンチマーク群のうち、2023年以降に作られたものに限定）
対象モデル 39ベンチマークのうち8件以上にスコアがあるモデルのみ
対象モデルの総数 本文に記載なし
前処理 [0,1]区間のスコアをロジット変換、欠損値はk近傍法（k=5）で補完
第1主成分が説明する分散 約半分（本文は厳密な百分率を示さず「about half」と記述）
第1主成分の重みの範囲 0.19〜0.30（本文の表に掲載された12ベンチマークについて）
発信元・公開日 Epoch AI（著者: Greg Burnham）、2025-11-20

重みの内訳は、本文の表に載った12ベンチマークについて、最大がGPQA diamondの0.30、次いでAider polyglotの0.29、OTIS Mock AIMEの0.28、最小がFrontierMath Tier 4の0.19でした。重みはすべて正で、しかも散らばりが小さい。これは「特定のベンチマークだけが飛び抜けて汎用的な能力を測っている」わけではないことを意味します。数学に寄ったベンチマークもコーディングに寄ったベンチマークも、第1主成分への寄与はほぼ横並びだった、ということです。

そして残りの分散のうち、著者が第2主成分として取り出したものを「Claudiness」と呼んでいます。Claude系のモデル家系がエージェント的なタスクで相対的に強く、視覚や数学の系統で相対的に弱いという、家系ごとの癖にあたる軸です。ただしこの第2主成分は、後述する通り統計的な裏づけが弱いものとして著者自身が扱っています。

この分析が自認している限界

一次資料を読むうえで、著者自身が明記している限界を飛ばすわけにはいきません。以下はすべて本文に書かれているものです。

  • 第2主成分（Claudiness）は並行分析で有意性が境界的（borderline significant）であり、著者は「The Claudiness dimension is not very strong evidence for the contingent view.」として、証拠としての弱さを自ら認めています。
  • より根本的な限界として、著者は「we don't know what counts as "unusual" for models because we don't know what they saw in training」と述べています。各モデルの学習データが公開されていない以上、あるベンチマークがそのモデルにとって「異常」なのかどうかを判定できない、ということです。
  • 選択効果も自認されています。「I suspect there's a selection effect where benchmarks that show top models scoring poorly tend to capture attention」──トップモデルが低スコアになるベンチマークほど注目を集めやすい、という偏りです。つまり分析に入っているベンチマーク群そのものが、中立に選ばれた標本ではありません。
  • 対象は2023年以降に作られた39ベンチマークのみです。それ以前のベンチマークも、業務に特化した実務評価も含まれていません。分析対象モデルの総数は本文に記載がなく、母集団の規模を外部から検証できません。
  • 第1主成分以降の結果は、欠損値をk近傍法（k=5）で補完したデータに基づく推定です。生の観測値だけから出た結果ではありません。

加えて、これはフロンティアAIモデルの評価指標そのものに関する分析であって、中小企業の業務にAIを入れたときの効果を直接測ったものではありません。ここを混同すると読み違えます。

中小企業の読者にとっての意味

では、この分析は「うちに関係あるのか」。関係するのは、ツール選定のときに何を見て何を見ないかを決める場面です。

AIツールのベンダーは、しばしば「このベンチマークで1位」「業界最高スコア」といった訴求をします。今回の分析が示唆するのは、そうした順位差の大半が同じ総合力軸の測り直しだということです。分散の約半分が第1主成分ひとつで説明でき、しかも各ベンチマークの重みが0.19〜0.30に収まるなら、ベンチマークAで1位のモデルとベンチマークBで1位のモデルの違いは、あなたの業務にとっての違いをほとんど説明しません。

実務的には、次のように整理できます。

  • ベンチマーク横断の細かい順位差は、選定根拠として弱い。総合力の高さは価格や世代である程度推測でき、順位表を読み込む労力に見合いません。
  • 残る差は、モデル家系の癖に近いものです。エージェント的な連続作業に強い家系、視覚や数学に強い家系、といった傾向差のほうが、単一スコアより実務の当たり外れに効きます。ただしこの「癖」の軸自体、前述の通り統計的には境界的な強さしかありません。
  • 選ぶべきは「スコアが最も高いモデル」ではなく、「自社の用途の型に合った家系」に、コスト、応答速度、既存システムとの接続性を掛け合わせた総合判断です。応答が3秒遅いことのほうが、スコア1ポイントの差より現場では効きます。

要するに、ベンダー資料の順位表を読み比べる時間があるなら、その時間を自社データでの試用に回したほうが得られる情報が多い、という判断材料になります。評価軸を自分で持つことの重要性は自社の評価基準をどう作るかでも扱っています。

ベンチマークと実務の乖離をどう埋めるか

ベンチマークが実務の成否を予測しないという論点は、この分析に固有のものではありません。テストに通ることと、実際に人がマージできる成果物になることの間には差がある、という指摘は別の研究でも出ています（ベンチマーク合格とマージ可能なPRの差）。ベンチマークは「できる可能性がある」ことを示しますが、「その業務で使える」ことは示しません。

中小企業が現実に取れる手順は、おおむね次の形になります。

  1. 自社の業務を、型で分類する。文書要約なのか、社内検索なのか、連続作業を任せるエージェント的な用途なのか。型が違えば効く性質が違います。
  2. その型に対して、自社の実データを使った小さな評価セットを作る。件数は多くなくても構いませんが、何件を何の条件で試したかは記録します。
  3. 候補を2〜3に絞り、同じ評価セットで比べる。このとき、精度だけでなくコストと応答速度も同じ表に並べます。評価コストそのものの考え方はコストを含めた評価の考え方が参考になります。
  4. 結果を残し、モデルが更新されたときに再実行できるようにする。

このうち1〜2を飛ばして順位表だけで決めると、あとから「思ったほど使えない」となる確率が上がります。逆に言えば、小さくても自社の評価セットを持っている会社は、ベンダーの訴求に振り回されずに済みます。

TOEの読み筋

ここから先は、株式会社TOEとしての読み筋です。この分析の再現や検証は、TOEでは未実施です。 以下は一次資料の記述と、当社がこれまで顧客のAI導入支援で見てきた傾向を突き合わせた解釈であり、独自の測定に基づくものではありません。

第一に、今回の結果は「モデル選定は思ったより差がつかない工程だ」という方向に読めます。分散の約半分が単一軸で説明できるということは、上位モデル同士の一般的な能力差は、選定作業に投じる労力ほど大きくない可能性がある、ということです。当社が支援の現場で見る限り、AI導入の成否を分けるのは、どのモデルを選んだかよりも、業務プロセスのどこを切り出して任せたか、出力をどう検証する運びにしたか、のほうに寄っています。この体感と今回の分析は方向として整合します。ただしこれは体感であり、当社は定量的な比較検証を行っていません。

第二に、著者が自認する選択効果は、そのままベンダー資料にも当てはまります。トップモデルが低スコアになるベンチマークが注目を集めやすいのなら、逆に「自社モデルが良く見えるベンチマーク」を選んで提示する動機も存在します。順位を出されたら、そのベンチマークがいつ作られ、何を測り、誰が選んだのかを一度は確認する。これは今回の分析からというより、分析が示す構造から自然に出てくる作法です。

第三に、留保です。この分析は自社指標であるECIを持つ組織による発表であり、結論が自社指標の意義を支持する方向にあります。それをもって内容が誤りだとは考えませんが、独立した第三者による再現は見当たりません。第2主成分の有意性が境界的であることも含め、「ベンチマークは一次元にほぼ潰れる」という主張は、現時点では強い断定ではなく作業仮説として扱うのが妥当だと当社は考えます。

そして最も重要な留保として、この分析はフロンティアモデルの評価手法の話であり、自社業務での実地検証を代替するものではありません。順位表を見ない代わりに、自社データで小さく試す。それが今回の分析から取り出せる、最も実務的な示唆です。ツール選定全体の考え方はAIツールの選び方にまとめています。

まとめ

  • Epoch AIの分析では、2023年以降に作られた39ベンチマーク（8件以上にスコアがあるモデルのみ対象、対象モデル総数は本文に記載なし）の分散の約半分が第1主成分ひとつで説明された。
  • 本文の表に載った12ベンチマークの第1主成分における重みは0.19〜0.30（最大GPQA diamond 0.30、最小FrontierMath Tier 4 0.19）で、すべて正かつ散らばりが小さい。特定ベンチマークだけが突出して汎用的ということはない。
  • 第2主成分（Claudiness）は並行分析で有意性が境界的であり、著者自身が証拠として弱いと明記している。学習データ不明による判定不能、注目度による選択効果、k近傍法（k=5）での欠損補完も著者が自認する限界。
  • この記事はEpoch AI自身による発表であり、同社は分析の基礎となる指標ECIの提供者である。自社指標の意義を支持する方向の分析として割り引いて読む必要がある。
  • 中小企業への含意は、ベンチマーク順位を選定の主軸にしないこと。用途の型に合った家系＋コスト・応答速度・既存環境との接続性で選び、自社データでの小さな検証を持つこと。なおTOEではこの分析の再現・検証は未実施。