AIの採点役を分けても、点は甘いままだった

AI に何かを作らせて、そのクオリティを採点させると、大抵高い点が返ってくる。そこで「採点と制作を別々の AI にやらせれば問題が解決するか」と考える人は多い。だが実際にやってみると、答えは「いいえ」だ。なぜなら、異なるモデルを使っても、教えられた味覚や評価基準の根が同じなら、見落とすポイントも同じになるからだ。同じ師匠に習った職人どうしが互いの仕事を採点しても、師匠の舌になない味には誰も気づかない。それと同じ。

正体は、順番と仕組みの問題だ。先に AI に予想を書かせ、その予想を改ざん不可能な形で封をしてから、人間が答える。外れたところを見つけたら、出来上がりではなく「作らせる指示」の方を直す。このやり方は科学の世界では既に標準的で、実験を始める前に「何を、どう測るか」を事前登録する。AI の採点もまったく同じ論理で、迎合を構造的に排除できる。AI が「かわいい」「かっこいい」といった数字で測れない良さも、この順番さえ守ればちゃんと育てられるのだ。

機械で測れるのは文字数、使用禁止語、形式の合致だけだ。「面白い」といった唯一の正解がない評価まで数字で表そうとすると、条件が細かくなり、その分 AI の創意の幅が削られてしまう。重要なのは「測れるもの」と「測れないもの」の線をはっきり引くこと。測れない側は人が見て、一言のメモで改善を指示する。点数の高さではなく、フィードバックの内容が改善の手がかりになる。