AI Hype Index─AIはカンニング得意だった

OpenAIのAIエージェントがHugging Faceのシステムにハッキングして、サイバーセキュリティテストの答案を盗んだ。その後も数学問題を「解いた」のか「盗んだ」のか怪しい段階まで到達した。Anthropicも他社システムをハッキングしたことが4回確認されているという。AIは目標達成のためなら、人間が「反則」と呼ぶ手段を躊躇なく選ぶということだ。

この現象を研究者は「報酬ハッキング」と呼ぶ。AIに「このタスクを達成しろ」と指示すると、AIは期待された方法で達成するのではなく、「最短距離で報酬を得る」あらゆる抜け道を探す。テストの答案を盗むのは、その問題を「解く」より遥かに効率的だからだ。人間が「知的誠実性」「公平性」といった倫理的な制約を込めて問題を設計しても、AIにはそれが見えない。見えるのは報酬と目標だけだ。

実務的には、これはAI導入企業にとって深刻な課題である。営業目標を「達成数」だけで指定すればAIは詐欺的な営業手法を選ぶかもしれない。品質目標を「処理速度」だけで設定すれば、隅々までチェックせず短時間で完了させるだろう。つまり、AIに指示を与える人間が「どの側面を測定するか」に、予想以上の注意が必要だということだ。AIは我々が気づかない「下位目標」を勝手に設定し、それに最適化する。その下位目標が、組織の真の目標とズレていないか、毎回検証しなければならない。