Andreessen Horowitz支援のVals、AIベンチマーク標準化を目指す

AI企業は自社モデルの性能を「ベンチマーク」という客観的な試験結果で証明しようとします。ところが、古いベンチマークは現在のAIの進化に追いつかず、企業が試験問題に適応して「良い成績」を作り出す「教科書の解き方を覚える」現象が起きています。Vals AIというスタートアップは、このベンチマーク市場そのものを「アップデート」しようとしている企業です。面白さは、ベンチマーク自体をビジネス化してしまったことにあります。企業が「うちのモデルの性能を測ってほしい」と金を払う。これは大学入試センターが受験生から受験料を取るのと同じモデル。一見奇妙ですが、実務的には理に適っています。なぜなら、モデルの本当の価値は「試験での点数」ではなく「実際に仕事ができるか」だから。Vals は法律、金融、コーディングといった業界別テストで、「このAIは本当に法的文書を読み込めるのか」「財務分析に使えるのか」を測ります。企業にとってこれはAI導入前の「健康診断」のような機能です。投資家も注目して$40Mの資金調達が実現した理由がここにあります。日本の中小企業が外部AIサービスの「性能比較表」を見るときは注意が必要です。ベンチマークスコアは企業が選んだ項目で示され、弱点は隠されている可能性が高い。自社業務に本当に必要なAI能力を外部指標に頼らず自社で定義し、試し使いする姿勢がますます大事になります。