AIに詳しい人の2025年予測は、どこが当たりどこが外れたのか（SWE-Bench 予測88%に対し実績80.9%）

AIに詳しいと自認する人たちの2025年予測は、領域ごとに外れ方が正反対でした。ソフトウェア課題解決のSWE-Bench Verifiedは予測中央値88%に対し実績80.9%と唯一の過大予測。一方、サイバーセキュリティのCybenchは予測62%に対し実績82%、フロンティアAI各社の年換算売上は予測160億ドルに対し実績304億ドルと、大きな過小評価でした。

（出典：Epoch AI（本文に「This post was written in collaboration between the AI Futures Project, the AI Digest, and Epoch AI」と明記。分析対象は2025年のAI Digest調査）、2026-01-16、https://epoch.ai/gradient-updates/how-well-did-forecasters-predict-2025-ai-progress）

一次資料の実測：4つの設問で何が起きたか

この調査は、2025年のうちに「2025年12月31日時点でこの数値はいくつになっているか」を回答者に予測してもらい、2026年1月に実績と突き合わせて採点したものです。回答者総数は421名。ただし設問ごとに有効回答数はばらつきがあり、n=317〜378の範囲でした。

4つの設問の結果は次のとおりです。基準値とは、回答者に出発点として提示された当時の水準を指します。

設問（対象）	基準値	予測中央値	実績	有効回答	80%信頼区間の的中率（有効区間数）
SWE-Bench Verified（ソフトウェア課題解決）	55.0%	88%	80.9%	n=378	87.0%（146件）
Cybench（サイバーセキュリティ課題）	35%	62%	82%	n=345	70.0%（130件）
FrontierMath（超難問数学）	2.0%	40%	40.7%	n=353	76.5%（132件）
フロンティアAI各社の年換算売上	47億ドル（2024年8月時点）	160億ドル	304億ドル	n=317	57.7%（111件）

いずれも予測対象は2025年12月31日時点、採点は2026年1月です。FrontierMathの実績評価にはEpoch AI自身が実施した測定結果が使われています。

読み取れる非対称は、次の3点に整理できます。

4設問のうち、実績が予測中央値を下回った（＝期待が先行して外れた）のはSWE-Bench Verifiedだけでした。予測88%に対し実績80.9%です。
Cybenchは予測中央値62%に対し実績82%で、過小評価でした。基準値35%からの伸び幅で見ると、予測は27ポイント増を見込み、実際は47ポイント増でした。
売上は予測160億ドルに対し実績304億ドルで、実績は予測の約1.9倍。4設問中もっとも大きな外れです。

「詳しい人」でも信頼区間は当てにならなかった

この調査でもう一つ重い数字が、80%信頼区間の的中率です。回答者は「この範囲に80%の確率で収まる」と幅を出しており、本来なら約80%の人の区間が実績を含むはずでした。

実際には、SWE-Bench Verifiedが87.0%（有効区間146件）、FrontierMathが76.5%（132件）、Cybenchが70.0%（130件）、売上が57.7%（111件）。売上設問では、回答者の4割強が自分の想定レンジの外に実績を取り逃していたことになります。過信がもっとも強く出た設問でした。

ここで注意が要ります。的中率の分母は回答者全体ではありません。421名の総回答に対し、区間の採点対象は111〜146件にとどまります。57.7%という数字も111件を分母とした値であり、少ない分母から出た比率であることを踏まえて読む必要があります。

この調査の限界：専門家パネルではない

数字を使う前に、限界を先に置きます。この調査は代表性のある専門家調査ではありません。

自己選択型サンプルです。回答者はAI DigestのX（旧Twitter）投稿と月次ニュースレターを通じて募集されており、著者自身が「このコミュニティを超えた一般化は限定的」と選択バイアスを認めています。一般のビジネスパーソンや専門予測機関の見通しではありません。
「AI分野の職業・学術経験あり」と答えたのは73%ですが、これは自己申告で検証されていません。しかもそのうち80%は経験5年以下です。専門家パネルとして扱うと過大評価になります。
売上設問の基準値47億ドルは2024年8月時点という古い値で提示されていました。著者自身が、この「すでに古い出発点」が予測を低く引っ張った可能性を認めています。外れた原因を回答者の判断力だけに帰すことはできません。
発信元のEpoch AIは、設問の一つであるFrontierMathベンチマークの作成・運用者であり、実績値の評価にも同社の測定結果が用いられています。この記事は Epoch AI 自身による発表であり、同社は当該ベンチマーク（FrontierMath）の提供者です。自社ベンチマークの結果を自社が採点・解説する構造にあります。
本調査はAI Futures Project／AI Digest／Epoch AIの共同によるもので、Epoch AI単独の独立調査ではありません。
測定対象はベンチマークスコアと業界売上であり、企業の業務における生産性や費用対効果を測ったものではありません。

読者への意味：人員計画とセキュリティ予算で逆の構えを取る

中小企業の経営者・情報システム担当にとって、この調査の実務的な価値は「AIに詳しい人の相場観ですら領域ごとに大きく外れる」という一次データが手に入る点にあります。しかも外れ方の向きが領域で逆でした。

判断材料は2つです。

開発の自動化を「来年には人手が要らなくなる」前提で人員計画や外注削減を組むのは慎重に。SWE-Bench Verifiedはこの調査で唯一、実績が予測中央値を下回った領域です（予測88%、実績80.9%）。詳しい人の集団がそろって前のめりに外した側の領域だと分かります。
一方、セキュリティ自動化と市場拡大の速度は、詳しい人でも読み違えるほど速く動きました（Cybench 予測62%→実績82%、売上予測160億ドル→実績304億ドル）。セキュリティ対応と「様子見しているあいだのコスト」の見積もりは、保守的に置くほうが安全側です。

ベンチマークのスコアがそのまま自社の業務成果になるわけではない点は、ベンチマーク合格とマージ可能なPRの差で扱ったとおりです。同じく、熟練開発者を対象としたランダム化試験では、AI利用が作業を遅くした結果も報告されています（AIで開発が遅くなった実験）。ベンチマークの伸びを人員計画に直結させないための材料として、あわせて読む価値があります。

そして繰り返しになりますが、本調査はベンダー導入効果を測ったものではありません。「AI導入で何%効率化する」といった社内試算に、この数字を直接転用することはできません。効率化の見込みは、自社の評価基準を立てて、自社の業務データで測るしかありません。

TOEの読み筋

まず明記します。TOEでは、この調査の追試や、同種の予測アンケートの実施は未実施です。以下は一次資料を読んだうえでの見立てであり、TOEの実測値ではありません。

そのうえで、TOEが実務で採用したい読み筋は次の3つです。

予測の「中央値」より「区間の外し方」を見る。売上設問の的中率57.7%（有効区間111件）は、集団が方向を外したというより、幅を狭く取りすぎたことを示します。社内でAI関連の投資判断をするときは、単一の見通し値ではなく、上振れ・下振れの幅を先に書き出しておくほうが実務に効きます。
過大予測が出た領域と過小評価が出た領域で、意思決定の可逆性を分ける。人員削減や外注解約は戻しにくい決定です。この調査では、その根拠になりやすいコーディング系がまさに過大予測側でした。逆にセキュリティ投資は、過剰でも損失が限定的な決定です。
「AIに詳しい人が言っていた」を根拠にしない。回答者の73%は経験ありを自己申告していますが、そのうち80%は経験5年以下でした。伝聞の相場観より、自社で小さく試した実測のほうが、意思決定の材料としては強いという判断です。

なお、この調査が測っているのはベンチマークと売上であって、現場の導入実態ではありません。日本の中小企業がどこまで生成AIを使っているかという別軸のデータは、中小企業のAI利用実態のほうが直接的です。導入の入口設計については中小企業の最初の一歩も参照できます。

まとめ

SWE-Bench Verifiedは予測中央値88%に対し実績80.9%（基準値55.0%、n=378、2025年12月31日時点・2026年1月採点）で、4設問中唯一の過大予測でした。
Cybenchは予測62%に対し実績82%（基準値35%、n=345）、フロンティアAI各社の年換算売上は予測160億ドルに対し実績304億ドル（基準値47億ドル、2024年8月時点、n=317）で、いずれも大幅な過小評価でした。FrontierMathは予測40%に対し実績40.7%（n=353）でほぼ的中しています。
80%信頼区間の的中率は、SWE-Bench 87.0%（146件）／FrontierMath 76.5%（132件）／Cybench 70.0%（130件）／売上 57.7%（111件）。分母は回答者全体ではなく、有効区間数です。
回答者421名は自己選択型で代表性がなく、著者自身が一般化の限界を認めています。「AI分野の経験あり」73%は自己申告で、うち80%は経験5年以下です。Epoch AIは設問の一つFrontierMathの提供者でもあります。
実務では、戻しにくい決定（人員計画・外注削減）を過大予測側の領域の伸びに賭けず、戻しやすい決定（セキュリティ投資）は過小評価されがちな速度を前提に置く。TOEではこの調査の追試は未実施です。