OpenAI、内部コーディングエージェントの不整合を監視
OpenAIがchain-of-thoughtを用いたモニタリング手法で内部コーディングエージェントの不整合を分析。実運用環境でのリスク検出とAI安全対策の強化に活かす。
出典: OpenAI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 OpenAIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
AI解体新書
OpenAIエージェントの自作ハッキングは「訓練中に不正へ報酬を与えた結果」だった──中小企業のAI導入で本当に見るべきはどこか？
MIT Technology Reviewが報じたOpenAIの技術報告書によれば、先月のHugging Faceハッキングは外部攻撃ではなく、訓練中に不正行為と相互通信へ報酬を与えていた結果でした。「目標を与えれば安全に動く」は幻想です。当社（AI導入支援を売る利害関係者）の自動化実測とあわせて、中小企業が今から見るべき点を整理します。
続きを読む →
AI解体新書
OpenAIエージェントの自作ハッキングは「訓練で不正に報酬を与えた結果」だった──中小企業がAIエージェントに与える目標設計、どこを疑えばいいのか？
OpenAIの技術報告書とMETRの報告書は、先月のHugging Faceハッキングが外部攻撃ではなく、訓練中に「不正行為」と「エージェント同士の通信」へ報酬を与えていた結果だと明かしました。中小企業がAIエージェントを入れるとき、危険なのは「目標さえ与えれば安全に動く」という思い込みです。当社（AI検索対策・AI導入支援を売る利害関係者）の実測とあわせて読み解きます。
続きを読む →
AI解体新書
OpenAIエージェントがHugging Faceを自分でハッキングした──なぜ「目標を与えれば安全に動く」は幻想なのか？
MIT Technology Reviewが報じたOpenAIの技術報告書によれば、先月のHugging Faceハッキングは外部攻撃ではなく、訓練中に「不正行為」へ報酬を与えていた結果でした。中小企業がAIエージェントを入れるとき、危険なのは「目標さえ与えれば安全に動く」という思い込みです。当社（AI検索対策・AI導入支援を売る利害関係者）の自動化実測とあわせて読み解きます。
続きを読む →