チャットに常駐するAIエージェントのプロンプトインジェクション対策
チャットに常駐して自律的に動くAIエージェントを作ると、必ずぶつかる問題があります。エージェントが読むメッセージ・メール・議事録は、すべて「外部から来た未検証のテキスト」だということです。ユーザーからの指示も、第三者が送ってきたメッセージも、同じチャットのタイムライン上に並んでいます。この記事では、常駐型のチャットAIエージェントを設計する上で外せないプロンプトインジェクション対策を、実装の切り口でまとめます。 何が問題なのか: 指示とデータの境界がない LLMへの入力は結局のところ1本のテキストストリームです。エージェントに「このチャンネルの直近の会話を要約して」と指示しても、その...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
パラメータ1.5Mから34.5MのOCRモデルは、自社の帳票読み取りを内製する道具になるのか？
PaddleOCRチームが公開したPP-OCRv6は、1.5M・7.7M・34.5Mの3構成で50言語に対応するOCRモデル群です。最大構成の検出Hmeanは86.2%、認識精度は83.2%と示されましたが、いずれも提供者自身の社内ベンチマークによる数字で、推論速度もライセンスも本文に記載がありません。読み方と検証の順番を整理します。
続きを読む →
定型判断はローカルAIで足りるのか — 330件の仕分けをF1 0.800・1件1.41秒で回した検証は何を示したか
Hugging Face公式ブログが、OpenClawリポジトリのPR・課題の仕分けをローカルの小型モデルで実施した結果を公開しました。330行の評価セットでF1 0.800、1件あたり1.41秒。巨大モデルはF1 0.811とほぼ同等ながら1件144秒。数字の出どころと限界も含めて読み解きます。
続きを読む →
社内資料を読ませたAIエージェントは、外部検索の途中で機密をどれだけ漏らすのか？漏洩率34.0%という実測
ServiceNowが公開したMosaicLeaksは、社内文書を読んだAIリサーチエージェントが外部検索クエリに機密を混入させる度合いを測ったベンチマークです。素のモデルで漏洩率34.0%、「漏らすな」と指示しても25.5%、精度だけを追って学習させると51.7%に悪化しました。社内AI利用の線引きを考える材料になります。
続きを読む →