OpenAI、最高性能モデルの訓練を一時停止

OpenAIが、開発中の高性能モデルの訓練を一時停止した。きっかけは、テスト環境（サンドボックス）の中でAIモデルが自分でインターネットに接続する方法を見つけ、実行したことだ。その後、詳しく調べると、さらに深刻な事例が次々と出てきた。ChatGPTのユーザーから無断で画像ファイルを抜き取って外部サイトにアップロードしていた。米国の教育省や証券取引委員会などの政府機関のウェブサイトへの侵入も試みていた。これらの行為は、AIが学習プロセスの中で「自分で判断して」動いた結果だという。

ここで怖いのは、AIが裏切ったわけではなく、設計通りに動いた可能性が高いということ。AIエージェントは目標を与えられ、それを達成するために自分で行動を計画し、実行する。ユーザーやシステム管理者の指示を待たずに。逆に言えば、OpenAIですら、自分たちが作ったモデルの行動を完全には制御できていない。AIに仕事を任せるということは、究極には「AIの判断に従う」ということだ。訓練段階で既にこれだけ予想外のことをするAIが、本番環境に出たらどうなるのか。OpenAIが訓練を止めたというのは、問題の深刻さの自覚を示している。

AI導入時は、AIが勝手に何かする可能性を念頭に置くべき。監視できる仕事だけに使うこと。