NVIDIA NeMo AutoModelでTransformerのファインチューニングを高速化

編集部の実践記録から

当社が自社の業務でAIを動かし、処理件数・所要時間・失敗件数まで 実際に測った記録です。

AI解体新書

既知の脱獄攻撃を受けると、AIの安全性は39システム中35システムで落ちる？

MLCommonsが公開した脱獄ベンチマークv0.5では、公開・既知の攻撃を加えるとテキスト対テキストの安全性スコアが平均19.81%下がり、39システム中35システムが安全グレードを1段階以上落としました。通常利用の安全性と攻撃下の安全性は別物だという実測を、中小企業の受け入れテストの話に落とします。

続きを読む →

AI解体新書

AIエージェントに社内業務をどこまで任せてよいか？ 1時間規模タスクの完遂率5%未満→40%超、一方でテストした全システムに万能脱獄

英国AI安全保障研究所（AISI）が2023年11月〜2025年10月に30以上のフロンティアシステムを評価した報告書を読み解きます。1時間規模の開発タスク完遂率は5%未満から40%超へ。しかし能力と安全対策の強さの相関はR^2=0.097でほぼ無く、テストした全システムで万能脱獄が見つかりました。

続きを読む →

AI解体新書

AIエージェントは多段階のサイバー攻撃をどこまで自力で進めたのか（32ステップ中9.8）

英国AI安全保障研究所が、企業ネットワークを模したサイバーレンジでAIエージェントの攻撃遂行能力を実測。32ステップ中の平均完遂数は1.7から9.8へ、最良の単一試行は22ステップまで到達した。一方で産業用制御システム環境では7ステップ中平均1.2〜1.4にとどまる。中小企業の防御の優先順位を、この数字から考える。

続きを読む →