MentalHealthBench公開、AIのメンタルヘルス対応を評価
MentalHealthBenchは、現実的なメンタルヘルス対話における有用で安全なAI応答を評価するための専門家監修ベンチマークである。
出典: OpenAI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 OpenAIで元記事を読む →
編集部の実践記録から
AI解体新書
AIエージェントに社内業務をどこまで任せてよいか？ 1時間規模タスクの完遂率5%未満→40%超、一方でテストした全システムに万能脱獄
英国AI安全保障研究所（AISI）が2023年11月〜2025年10月に30以上のフロンティアシステムを評価した報告書を読み解きます。1時間規模の開発タスク完遂率は5%未満から40%超へ。しかし能力と安全対策の強さの相関はR^2=0.097でほぼ無く、テストした全システムで万能脱獄が見つかりました。
続きを読む →
AI解体新書
AIエージェントは多段階のサイバー攻撃をどこまで自力で進めたのか（32ステップ中9.8）
英国AI安全保障研究所が、企業ネットワークを模したサイバーレンジでAIエージェントの攻撃遂行能力を実測。32ステップ中の平均完遂数は1.7から9.8へ、最良の単一試行は22ステップまで到達した。一方で産業用制御システム環境では7ステップ中平均1.2〜1.4にとどまる。中小企業の防御の優先順位を、この数字から考える。
続きを読む →
AI解体新書
AIエージェントは個人の手元と全社チャットのどちらに置くべきか——Shopifyが30日で59,918セッションを公開した理由は？
Shopifyが社内エージェント「River」の直近30日間の実稼働値を公開した。59,918セッション、マージ済みPRの8件に1件が共著、セッション中央値19分・ツール呼び出し中央値50回。数字の大きさより、エージェントを個人の手元でなく全社Slackに常駐させたという設計判断が中小企業にも効く。ただしこれは提供者自身による発表である。
続きを読む →