英国AISIとEvalEval、ベンチマーク結果の再現性を実現

AI業界の成長に伴い、モデルの性能評価は重要な判断材料になっている。しかし評価結果は、異なるフォーマット、プラットフォーム、報道媒体にバラバラに報告されており、再現するための情報がほとんど記録されていない。場合によっては、同じ評価を何度も実行することが経済的に不可能なほど高くつく。この「評価結果の報告基準がない」という問題は、実は非常に深刻だ。

そこに取り組むのがEvalEvalとUK AISIの共同プロジェクトである。二つの機関は、評価結果を統一フォーマット「Every Eval Ever」で報告し、オープンプラットフォーム「Evaluation Cards」に集約する仕組みを作っている。AISI側では、OptStopで評価の効率化を、HiBayESで統計的厳密性を、研究されてきた。今回の協力で、その知見を報告の標準化に組み込むわけだ。

初期段階では、Claude OpusやGPT-5など複数モデルの五つのベンチマーク結果（HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0）が公開される。単に結果値だけでなく、評価方法、設定、トランスクリプトレベルのデータまで含まれる。これにより、研究者は個別の評価に深く立ち入り、異なる報告間での比較が可能になる。実務的には、AI導入を検討する企業が「この数字、本当に信じられるのか」を確認できるようになる、という意味だ。

企業のモデル発表がハイプまみれの現在、ベンチマーク結果の再現可能性はAI導入の羅針盤となる。自社システムへの組み込みを判断する際、その性能値がどの程度信頼できるのかを知ることは必須である。この取り組みは、単なる学術的な透明性ではなく、中小企業がAIに投資する際のリスク低減に直結している。