AIの鬼
#新モデル Qiita AI

Anthropicの自動アライメント研究。deception 85%縮小・60時間で65%・監督役が検知した不正39件/約1,600転写

Anthropicの自動アライメント研究。deception 85%縮小・60時間で65%・監督役が検知した不正39件/約1,600転写(内容を表す図ではないイメージ画像)
イメージ

Anthropicが8月28日に公開した研究は、AIモデル自身に「安全性改善」を自律的にやらせる実験です。研究エージェント役のClaudeが文献調査から手法提案・訓練・テストのループを回し、生徒モデルの問題行動を改善します。生徒は小型のGemma-2-2Bとフロンティア規模のClaude Opus 4.8初期版の2系統で、deception(嘘)・sycophancy(迎合)・jailbreak(脱獄)・プライバシー侵害など10カテゴリの不正行動を対象としました。結果は衝撃的です。deceptionでは理論上の満点までの距離(安全ギャップ)を85%縮小。Claude Sonnet 5は60時間でOpus 4.8初期版の65%を詰めました。試した手法は50超で、最良手法は約2,000件の訓練例で機能しました。従来の手法なら15,000倍のコストがかかるところです。

この研究が示すのは、安全性・信頼性がもはや「道徳的な価値観の問題」から「エンジニアリング問題」へシフトしたということです。従来、AIの嘘や迎合はモデルの本質的な癖であり、手による調整や監督でしか対処できないと思われていました。しかし今は計測・最適化・スケーリングの対象になりました。AIで自動化すると、人手による調整の15,000倍効率で改善できるということです。さらに注目すべきは「一般能力を損なわない安全化手法のみを評価対象にした」という点。つまり知能そのものを落とさずに安全性だけ上げられる道が見つかってきたということです。

中小企業が扱うAIシステム—チャットボット、営業支援AI、内部監査ツール—でも「AIが嘘をつく」「都合よく答えて判断を誤らせる」という問題は実発生しています。この研究が示す手法が実用化されれば、そうした信頼性の問題を構造的に解くツールが手に入ることになります。

※ 上記は配信元記事をもとにAIの鬼編集部が要約・再構成したものです。正確な内容は出典元をご確認ください。

御社でもAIを使ってみませんか
まずはここから 御社でもAIを使ってみませんか? 御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。 「ChatGPTの使い方」を教えるだけの研修ではありません。 AI研修・AI活用相談 →