チャットに常駐するAIエージェントのプロンプトインジェクション対策
チャットに常駐して自律的に動くAIエージェントを作ると、必ずぶつかる問題があります。エージェントが読むメッセージ・メール・議事録は、すべて「外部から来た未検証のテキスト」だということです。ユーザーからの指示も、第三者が送ってきたメッセージも、同じチャットのタイムライン上に並んでいます。この記事では、常駐型のチャットAIエージェントを設計する上で外せないプロンプトインジェクション対策を、実装の切り口でまとめます。 何が問題なのか: 指示とデータの境界がない LLMへの入力は結局のところ1本のテキストストリームです。エージェントに「このチャンネルの直近の会話を要約して」と指示しても、その...
出典: Zenn AI（配信元の紹介文より引用）
このニュースの全文は、配信元でお読みいただけます。 Zenn AIで元記事を読む →
この話題に関連する、TOEの実践・観測記録
AI解体新書
AIエージェントは個人の手元と全社チャットのどちらに置くべきか——Shopifyが30日で59,918セッションを公開した理由は？
Shopifyが社内エージェント「River」の直近30日間の実稼働値を公開した。59,918セッション、マージ済みPRの8件に1件が共著、セッション中央値19分・ツール呼び出し中央値50回。数字の大きさより、エージェントを個人の手元でなく全社Slackに常駐させたという設計判断が中小企業にも効く。ただしこれは提供者自身による発表である。
続きを読む →
AI解体新書
複数のAIエージェントを「つなぎ方」で強くできるのか？ プロンプト1文が9.44ポイント効いた実験
16体のLLMエージェントを人間の集団実験と同じ8種類の通信ネットワーク上で走らせた研究。体制図（トポロジー）を変えて得られた差は最大約3ポイント、対してプロンプトに「初回はランダムに選べ」と1文加えた効果は9.44ポイント。多エージェント構成を凝る前に指示文を直すほうが安い、という実務的な示唆が出ています。
続きを読む →