AIの鬼
#研究動向 Zenn AI

Prompt Repetitionで守れない制約は役割指定と自己チェック指示で埋まるか、実験して原理を追った

Prompt Repetitionで守れない制約は役割指定と自己チェック指示で埋まるか、実験して原理を追った(内容を表す図ではないイメージ画像)
イメージ

プロンプトエンジニアリングの解説では「ロールプロンプト(役割を与える指示)」や「Prompt Repetition(指示を2回貼る)」といった小技が紹介され、さもそれで難しい指示も完璧に守らせられるように見える。だが実験してみると、その前提は脆い。5つの制約条件を持つメール生成タスクで、1回の指示では1個、2回貼っても別の1個が守られなかった。わかったのは、これらの手法は「対症療法」に過ぎず、実は全く別のレイヤーで機能しているということだ。

ロールプロンプト単体(「あなたはプロのライターです」など)は、出力の語彙や文体の分布を役割に紐づく方向にシフトさせるだけで、生成した文章が制約リストを満たしているかを検証する処理を追加しない。つまり「分布のシフト」であって「制約の検証」ではないのである。2回貼ってもほぼ同じ。ところが、役割の説明文に「書き終えたら自分でルール違反がないか必ず確認してください」という一文を入れると、状況が変わる。ここで効いているのは役割名そのものではなく、「生成後に自己検証を行うよう促す指示」だ。つまり、LLMに疑似的な2パス構成(本文生成→制約チェック→修正)を誘発する明示的な指示こそが、実際には制約充足の鍵を握っているわけである。

ただしここにも限界がある。制約を7個に増やすと、同じ「2回貼り+役割+自己チェック」という最も手厚い組み合わせでも1個は守られなくなる。これは確率論の問題だ。各制約を独立に満たす確率をpとすれば、n個すべてを同時に満たす確率はpのn乗に近づく。手法を強化してもnが増える限り、全体の遵守率は構造的に下がり続けるのである。ChatGPTを使って複雑な業務指示を自動化したい企業は「指示の工夫」だけに頼らず、むしろ「一度に課す条件の数を減らし、生成と確認を別ターンに分ける設計」に切り替える方が、原理的には安定する。プロンプトの完璧さより、人間とAIのタスク分割設計の方が、実務では遥かに重要ということだ。

※ 上記は配信元記事をもとにAIの鬼編集部が要約・再構成したものです。正確な内容は出典元をご確認ください。

御社でもAIを使ってみませんか
まずはここから 御社でもAIを使ってみませんか? 御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。 「ChatGPTの使い方」を教えるだけの研修ではありません。 AI研修・AI活用相談 →