AIセキュリティに関する論文メモ5〜StruQ編〜

プロンプトインジェクションは、AIセキュリティで最も警戒されている攻撃である。ユーザー入力に隠された命令がシステムプロンプトを上書きして、意図しない動作をさせてしまう。StruQは、この古くて手強い問題に「入力の構造化」で立ち向かう論文（arXiv 2402.06363、USENIX Security 2025）だ。やり方は、命令とデータを通常のテキストでは表現できない特殊なトークンで区切り、ユーザー由来のデータからはそのトークンを除去してモデルに渡す。攻撃者が区切りを偽造できなくなり、区切られたデータ領域の命令は無視するようにモデルを訓練する—二段階だ。

多くのセキュリティ手法が「万能です」を謳う一方、StruQの面白さはそこにない。むしろ限界を明示している。命令とデータが明確に分離できるアプリに限られ、分ける判断は人間がする必要があり、モデル訓練には提供者の協力が要る。つまり「アプリ開発者だけで解決できない」ということだ。一般的なセキュリティ論では邪魔な「前提条件」が、ここでは正直に書かれている。

中小企業がAIを業務に組み込むとき、セキュリティを後付けするのは難しい。初期設計の段階で「この入力は誰が、どこから来るのか」を問い、データと命令を分離できるかを検討しておく。後から「命令が混入しないよう気をつけましょう」という注意喚起よりは、最初から混入できない設計の方が確実だ。セキュリティは、賢い防御より、逃げ道のない構造に頼る方がいい。