【LLM】ベンチマーク用オリジナル上級問題（v1）

LLM の推論能力をベンチマークするため、8 分野・計 64 問のオリジナル上級問題集が公開された。情報科学、数学（代数・数論と解析・幾何の 2 分野）、物理、化学、生物、そして論理パズルで、大学入試から国際数学コンテスト相当の難度。興味深いのは、この問題集そのものが AI（ChatGPT-5.6-Sol）の提案を改訂して作られたという点だ。つまり問題作成が AI で、その問題でテストされるのも AI だ。従来のベンチマークは「既存の標準問題で性能を測る」という受動的なものだった。MMLU や ARC といった定番テストは、一度作られると固定される。だがこのオリジナル問題集が示唆するのは、ベンチマーク自体が今や AI 開発者の道具として主体的に設計される時代になったということだ。テストの難度、分野の選択、採点基準——これらすべてが検証者の「ねらい」を映す。逆に言えば、スコアの高さそのものより「どの問題でどう間違えたか」という粒度での分析が、実務的な使い手には重要になった。中小企業が AI ツールを導入する時、ベンダー提供のデモ数字よりも、自社の実際の仕事で試してみることの方が格段に価値がある。標準テストで 90 点のモデルが、自社の書類作成ではうまく使えないかもしれない。その時こそ、カスタマイズされたベンチマーク——つまり「実際の仕事の難度に合わせた問題セット」で試す意義が生まれる。