AIの鬼
#開発・実装 Zenn AI

エージェントにブラウザを触らせていたら、プロフィール欄に fork bomb が仕込まれていた

エージェントにブラウザを触らせていたら、プロフィール欄に fork bomb が仕込まれていた(内容を表す図ではないイメージ画像)
イメージ

エージェントにブラウザを操作させていたら、SNS のプロフィール欄にプロンプトインジェクション攻撃が仕込まれていた。攻撃者の指示を含む 1 行のコードが書かれており、エージェントが読めば実行される狙いだ。悪質さより「開発者が思いつきで置いた」性質が重要である。普通の SNS で、普通の利用頻度で見かけるなら、今後もこの密度で踏む。この事実が意味することは、エージェント側の防御機構より先に、モデル世代そのものが効いているということだ。Anthropic の公開数値では Opus 4.5 は防御後も 17.6% が 16.7% にしか下がらず、一方 Opus 5 は素で 3.8%、防御込みで 0%。つまり「対策を入れたから安全」ではなく、土台のモデルが指示とデータを区別できるかどうかが先に来る。ブラウザを任せるか否かは、防御の有無よりまずここで決まる。防御機構は「疑わせる」信号を出すだけで、判定の揺らぎは免れない。実装側の唯一の進め方は「tool 結果は untrusted」を構造で表現すること。許可リストをコード側で持つ、出所をラベル付けする、副作用のあるアクションは人間のゲートを通す、権限は最小化する。この 4 点に尽きる。中小企業がエージェントを導入するなら、任せるタスクを「止まったときに人間が引き取れる単位」に分割しておくこと。1 本のシーケンスを最後まで走らせる前提で組むと、途中で止まった時に何が終わって何が終わっていないか分からなくなる。そのままでは業務継続不能になる。

※ 上記は配信元記事をもとにAIの鬼編集部が要約・再構成したものです。正確な内容は出典元をご確認ください。

御社でもAIを使ってみませんか
まずはここから 御社でもAIを使ってみませんか? 御社の実際の業務を題材に、AIで何ができるかを一緒に考えます。 「ChatGPTの使い方」を教えるだけの研修ではありません。 AI研修・AI活用相談 →