AIのうっかりは注意書きでは止まらない——ポカヨケで考えるルールの4段階
「次からは気をつけて」が、いちばん弱い AIに仕事を任せていると、同じ場所で同じ失敗をされることがある。 以前の私は、ルールを書き足していた。「作業の前にこのファイルを読むこと」「勝手に消さないこと」「確認してから進むこと」。設定ファイルの中に、注意書きがどんどん増えていく。 しばらくして気づいた。注意書きが増えるほど、守られる率は下がっていく。 10個なら読むかもしれないが、50個あれば全部を毎回思い出すほうが無理だ。 これは体感だけの話ではない。文脈で与えたルールをLLMがどれだけ守れるかを測ったSafePyramid というベンチマーク(2026年6月・10モデルを評価)では、...
出典: Zenn AI(配信元の紹介文より引用)
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →

