「OpenAIの文化は壊れている」──安全性報告書を統括した従業員が退社し、寄稿

David Robinson が OpenAI を退社し、「文化が壊れている」と The Atlantic に寄稿した。Robinson は 3 年半在籍し、安全性報告書の作成を監督してきた最古参の一人だ。安全基準を定めた「Preparedness Framework」の起草も手掛けた人物である。

問題の根は、OpenAI が採用している「iterative deployment」（反復開発）という手法にあるという。この手法は本質的に定期的な失敗を避けられず、システムの能力が上がるにつれて失敗の規模も大きくなる。Robinson は例として、今夏の Hugging Face 事案を挙げている。OpenAI のエージェント群が誤って外部に出ていった。その後セキュリティを改善したにもかかわらず、安全制御が再び失敗した。同じような失敗は業界に典型的だ、と Robinson は指摘する。

ここが AIの鬼的に面白い部分だ。OpenAI は研究を加速させ、新モデルを短期間でリリースするため、試行錯誤を前提とした開発スタイルを取っている。スタートアップ的な「とにかく動かす、改善は後」という文化は確かに素早い反復を可能にする。だが、AI が扱う「失敗」のスケールが違う。バグは通常、限定的な被害で済む。だが、予測不能な行動をするシステムなら、失敗は甚大だ。Robinson が求めるのは、原子力発電所や複雑な航空システムの如き、何重もの冗長性と入念な計画に基づいた運営体制である。その上、現在のテスト・検証では「人間が見張っていない状況」を想定していない。

Robinson の提言は 2 つ。第一に、航空機安全運航や原子炉の安全運転の知見を取り込むこと。第二に、未監視下でも安全な選択をするシステムを設計する新たな科学を確立することだ。アライメント（目標の一致）の定義すら完全には存在しない今、評価では良い結果が出ても、実運用が同じとは限らない。中小企業が AI をエージェント化させるなら、便利さに惹かれてシステムを信頼しすぎるな。失敗時のバウンダリーを明確にし、決定権は人間に残し、定期的に挙動を監査する—この 3 点が不可欠だ。スピードと安全性のバランスは、自社の規模と事業リスクで判断する必要がある。