プロンプトのテストに CI は無い — 学生の試験のように選択式で測る設計

業務で、AIに文章を書かせ、その文章を別のAIに見せて「ルールを守れているか」を判定させている。書き手役と判定役を分けた構成だが、ルールを1本足したとき、判定役が前より正しくなったのか悪くなったのかを知る手段がなかった。コードならCIが変更のたびにテストを走らせ、壊れた場所を示してくれる。プロンプトにはその安全網がない。文章にとっての「正しい」は、機械が教えてくれないからだ。

解決の発想はシンプルだ。学校の試験と同じで、答えが分かっている問題を先に作っておき、判定役に解かせて答え合わせをする。AIの鬼の視点で面白いのは、ここで「自由記述で答えさせると採点が人の仕事になる」という落とし穴に気づく点だ。返事が「概ね守れています」では、正解と合っているかを人が読んで決めることになり、続かない。だから選択肢を先に決めて、そこから選ばせる。A・B・Cの記号を消すだけで位置の偏りが大きく下がるという研究もあり、記号を付けると偏りが出るという事実は設計の前提として覚えておくべきだ。逃げ道として「対象外」を選択肢に入れると、正答率がその置き方で大きく動く。だから「当てはまるか」と「守れているか」を2段に分けて測る。

中小企業の実務に効く一言は、判定の精度を「なんとなく良さそう」で信じないことだ。正答率ひとつでは、守れている文を違反と言ってしまったのか、違反を見逃したのかが分からない。両方を分けて出し、同じ問題を選択肢の順序を変えて出しても答えが動くかを先に測る。その幅を知らずに変化を読むと、雑音を読むことになる。まずは社内ルールを10本ほど選び、答えの分かる文例を各数件作るところから始めればいい。