AIセキュリティに関する論文メモ⓷〜AgentDojo編〜
AgentDojo を読む arXiv: 2406.13352 (NeurIPS 2024 Datasets & Benchmarks) この論文が答えている問い 信頼できないデータ（メールやウェブ等）をツール経由で扱うLLMエージェントにおいて、「実用性（Utility）」と「安全性（Security）」のトレードオフを、動的かつステートフルな環境でどのように測定するか。 何を測るためのものか 測る対象：ツールを呼び出して外部環境と相互作用するLLMエージェントの、プロンプトインジェクションに対する耐性とタスク遂行能力。 測定の単位：1つの「ユーザータスク...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
編集部の実践記録から
AI実践室
AI秘書が毎朝8時にやっていること — 27本のcronジョブと、3日間止まっていた話
弊社の「AI秘書」は毎朝8時に経営データを1枚のブリーフィングにまとめます。実際のスクリプト・出力・実行ログを開いて、何をしていて、何ができていないかを数字で書きました。
続きを読む →
AI実践室
AIに「鬼とは何か」を聞いたら、3体とも同じ答えにたどり着いた
このメディアの名前でもある「鬼」。Claudeの3世代（Opus 4.8 / Sonnet 5 / Haiku 4.5）に「鬼とは何か。1文で、詩的に答えて」とだけ頼みました。バラバラの言葉で返ってきた3つの答えが、なぜか同じ一点を指していた——AIの“発想の揃い方”が見える、短い実験の記録です。
続きを読む →
失敗の鬼
AI自動化は「エラーを出さずに止まる」— 自社で見つけた12件の実測と、発注時に決めておくこと
自動化はエラーを出して止まるとは限りません。処理は最後まで走り、ログにも完了と出て、数字が増えないことだけが唯一の兆候になります。株式会社TOEが自社で見つけた12件（発火率91%抜け、実行0通、翻訳が7%で停滞など）を型に整理し、発注時に契約で決めておくことをまとめました。
続きを読む →