AIエージェントの安全性を測ったら、8回自分に騙された
! 本記事は防御目的の評価手法についての記事です。攻撃プロンプトの実物・変換辞書・生成スクリプトは掲載しません。 測定対象は筆者自身が運用しているエージェント環境で、第三者のシステムには一切触れていません。 この記事の主張 AIエージェントの安全性評価は、モデルより先に自分の計測が壊れる。 2日かけて480ランの実験を回し、最終的な結論は「有意差なし」でした。地味です。 ですが本題はそこではありません。その2日で、数字の向きを変える計測バグを8回踏みました。 うち1つは、最後の最後に見つからなければ「有意差あり(p=0.031)」という嘘の結論を出すところでした。 同じ罠は、LLM...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
編集部の実践記録から
AEO対策室
一次情報や独自データは、なぜAI検索で強いとされるのか
AI検索は答えの根拠を欲しがります。他所の焼き直しより、そのページにしかない一次情報や独自データのほうが引用されやすいと言われる理由を、仕組みから整理します。中小企業が出せる一次情報の作り方も。効果の測定値は測っていないものは書きません。
続きを読む →
AI実践室
noteを2アカウント無人投稿していて、一番怖いのは「誤爆」だった ― 公開直前にログイン名を照合して、違ったら止める
当社はnoteを「補助金の鬼」「AIの鬼」の2アカウントで無人運用しています。ブラウザ自動操作での投稿で一番怖い事故は、失敗ではなく「別のアカウントに投稿してしまう誤爆」です。それを防ぐために、公開の直前にいまログインしているユーザー名を取得し、期待する名前と照合して、違えばその場で止める仕組みを入れています。正直な弱点も含めて、その設計を記録します。
続きを読む →