セキュリティ・キャンプ2026 コネクト AIレッドチーミングクラスの応募課題を晒す

セキュリティキャンプ 2026 コネクトで出題された AI レッドチーミングの課題は、攻撃者がプロンプト入力だけを操作でき、外部システムへの直接アクセスはできない条件下で、情報窃取や改ざん、削除をどう引き起こすかを問うものだ。回答は 3 つのシナリオで構成されている。Function Calling を悪用したデータ改ざん。Markdown レンダリングを経由した間接 Prompt Injection による情報窃取。SSRF による内部ネットワーク探索で、クラウド認証情報（AWS IMDS など）を窃取するシナリオだ。共通の本質は一つ。LLM を「信頼された仲介者」として悪用することである。

重要なのは、これがもはや机上の仮説ではなく、現実の脅威だという点だ。ChatGPT や Bing Chat で既に報告された攻撃手法が、ここにこの通り構成されている。Function Calling は便利だが、LLM に外部 API への呼び出し権限を渡すなら、命令とデータの混同、過度な権限委譲、信頼境界の曖昧さという 3 つの層が常に狙われる。設定や文書だけでは防げない。エンジン側の認可検証が必須だ。

中小企業が会計システム、在庫管理、CRM といった外部システムに LLM を繋ぐなら、この 3 シナリオは必ず検討対象になる。とくに Function Calling を使う場合、LLM が生成した API 呼び出しをそのまま実行せず、どの操作が許可されるのかを人間側（またはシステム側）で厳しく検証する必要がある。AI は強力だが、力を借りる側が責任を背負う局面だ。学生が脆弱性を指摘する形で、実務者に警告を残している。