世界初、ダブルブラインド方式によるAI評価を試行

Googleが、自社のフロンティア級AIモデルを対象にした、世界初とされるダブルブラインド方式の外部評価を試行していると発表した。ダブルブラインドとは、評価する側もモデルを作る側も、互いの大事な情報を見られない状態で評価を行う仕組みだ。Google Cloudの Confidential Computing 内にある Confidential Space を使い、暗号技術によって、評価用データとモデルがそれぞれの持ち主の手元に残ることを検証できるようにしている。パートナーはシンガポールAI安全研究所、OpenMined、AVERI、MLCommonsで、Gemini Flash Liteモデルを機密のベンチマークで試す計画だ。

AIの鬼の視点で言えば、面白いのは、テスト問題が事前に漏れるというAI業界の古い問題を、お互いの信頼や契約ではなく暗号の箱で解こうとした点だ。入試で答案が事前に見られていたら、満点に意味はない。AIが試験問題を先に覚えてしまうことを、業界では「ベンチマーク汚染」と呼ぶ。これまでの外部評価は、テスト問題を渡すか、モデルの重みを渡すかの二択で、どちらかが必ず損をする取引だった。今回の試みは、その取引を不要にしようとしている。ただし、暗号で守られた箱の中で行われた評価が正しいかどうかは、別の角度から見る必要がある。ベンダーが出す数字を信じる前に、誰が、どの条件で評価したのかを問う姿勢は、ここでも変わらず効く。

中小企業にとって、ベンチマークの暗号技術まで理解する必要はない。ただ、導入を検討しているAIツールの性能資料に並ぶ数字が、どこで誰によって検証されたものかを一言聞く習慣はつけておきたい。「その数字は、外部の第三者が確認していますか」と質問するだけで、ベンダーの説明の厚みが見えてくる。