AIの鬼
#開発・実装 Zenn AI

その"NEVER"、AIを萎縮させてる? それとも安全にしてる? ── 禁止命令が効くときと壊すとき

その"NEVER"、AIを萎縮させてる? それとも安全にしてる? ── 禁止命令が効くときと壊すとき(内容を表す図ではないイメージ画像)
イメージ

1. 「禁止命令を書くな」と「禁止事項は明示せよ」、両方本当らしい AIエージェントへのシステムプロンプトを書いていると、正反対に見える2つの実務知見にぶつかる。 一方には「否定命令はLLMに効きにくい」という指摘がある。"The Pink Elephant Problem"は、Anthropicが自社のシステムプロンプトで否定命令ではなく記述的な文体(Claudeが何をする存在かを描写する)を選んでいることを指摘する。負の指示は「何をしてほしくないか」を理解してから「では何をすべきか」を逆算させるぶん、余計な推論ステップを挟み不安定になる、という説明も添えられている。 もう一方には...

出典: Zenn AI(配信元の紹介文より引用)
御社でもAIを使ってみませんか
まずはここから 御社でもAIを使ってみませんか? 御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。 「ChatGPTの使い方」を教えるだけの研修ではありません。 AI研修・AI活用相談 →