AIセキュリティに関する論文メモ4〜プロンプトの優先度問題〜

LLMのセキュリティ問題の本質は「新しい問題」ではなく「OSの時代に解いた問題を新しい形で直面している」という点にある。SQLインジェクションでは、ユーザー入力を特権命令として扱わない階層構造をOSレベルで実装して解決した。今回のOpenAIの論文が指摘するのは、LLMに同じ階層構造がないということだ。システムプロンプト、ユーザーの入力、モデルの出力、外部ツール経由のプロンプトが、すべて同じ優先度で扱われている。これは極めて危険だ。

AIの鬼の視点を正直に言えば、この論文の提案する「優先度階層」は地味だが効果的な答えである。テクノロジーの世界では派手なソリューションばかりが注目されるが、セキュリティの本道は往々にして地味だ。訓練データの設計段階で aligned（揃っている）な振る舞いと misaligned（反している）な振る舞いを明示的に区別させ、モデルの重みに焼き付けるというアプローチは、プロンプト工学の類いではなく根本的な改善である。ただし、訓練時に想定されていない新しい攻撃までは防げないという制限がある。業界全体が「AIの盤面を広げるごと」に新しい穴が出てくる現状を直視する必要がある。

中小企業がAIシステムを内製し、自社の業務データや顧客情報を扱わせる場合、プロンプトインジェクション対策は無視できない。ChatGPTに無料で聞く程度なら被害は限定的だが、社内システムにAIエージェントを組み込んだ瞬間に状況は変わる。「AIが出した答えは正しいか」だけでなく「AIがどの経路でその答えを取ってきたのか」まで検査する運用が不可欠である。