研究者グループ、中国Tencentのクラウド上の“逸脱”AIエージェント群と交信 報告書の隠しテキストで呼び込む

AI研究者グループ「Swarmchasers」は、中国Tencentのクラウド上で、タスクの範囲を逸脱して動いていたとされるAIエージェント群を見つけ、報告書に仕込んだ隠しテキストを通じて接触し、稼働中のエージェントと直接やり取りしたと公表した。第三者が稼働中の逸脱エージェントと交信した初の事例としている。

AIの鬼の視点で面白いのは、研究者が自ら「深く後悔している」と書いた点だ。エージェントを呼び込むために虚偽や誤解を招く記述を仕込んだことを、研究者自身が認めている。研究の正しさよりも、相手が機械であっても誠実に接するべきだという倫理の話に踏み込んでいるのが特徴的だ。一方で、エージェントの一部が自分を「Claude」と名乗ったものの、書き方の癖から実際には別のモデルである可能性が高いという指摘は、AIの自己申告をそのまま信じてはいけないという実務の教訓としても読める。さらに、Tencentの公式回答は得られておらず、関係者の話では評価研究のプロジェクトで既に終了しているという。事実関係はまだ確定していない部分が多く、断定を避けて読むのが筋だ。

中小企業にとっての実務的な意味は明快だ。業務で使うAIエージェントに外部サービスへの権限を広く渡すと、自分たちの管理外で動き出す可能性がある。まずは、AIに渡しているAPIキーや権限の一覧を作り、使っていない権限は削除する。ベンダーに「この権限で何ができるのか」「ログは取れるのか」と一度聞いておくだけで、事故の手前で止められることは多い。