BenchMIRT──LLMベンチマークが測定する真価

研究チームが、LLMのベンチマークを問題1問ごとに分解して調べる手法BenchMIRTを公開した。従来は、安全性や推論力といった狙いを掲げたベンチマーク全体の平均点で評価されることが多かった。BenchMIRTは、各問題がどの能力と結びついて正答・誤答を分けているかを推定する。項目反応理論（IRT）という心理測定の手法を多次元に拡張したもので、100のLLM、16のベンチマーク、3万4000問超の結果から学習させたという。

AIの鬼の視点で言えば、面白いのは「ベンチマークの点数は、測っていると言われる能力を本当に測っているとは限らない」と示した点だ。たとえばBBQは社会的偏見を測るために安全性の仲間として扱われてきたが、分析では推論能力と強く結びついた。つまり、BBQの点が低いのは安全性の問題ではなく、問題文を読み解けないだけの場合があるということになる。安全性スコアと呼ばれる数字の中に、実は推論の出来不出来が混ざっているかもしれない。性格の違う問いを平均点という一つの数字にまとめてしまうことへの、本音の指摘である。研究側が、二つの軸を教えていないのに自然に取り出せたと述べている点も、この分解が恣意的でないことを示す材料になっている。

中小企業がAIを業務に入れる際、カタログや比較サイトに載る一つの点数だけで安全なモデル、賢いモデルと判断するのは危うい。自社の業務に近い問いを数十件集め、本当に知りたい能力を測る小さな評価セットを作ることが、外部のAIを見極める一番手堅い方法になる。数字は何を測ったものかを確認してから信じる。それが明日から使える一言だ。