既知の脱獄攻撃を受けると、AIの安全性は39システム中35システムで落ちる？

公開・既知の脱獄（ジェイルブレイク）攻撃を加えると、テキスト対テキストの安全性スコアは平均19.81%下がり、39システム中35システムが安全グレードを1段階以上落としました。攻撃下のほうが良くなったシステムはゼロです。通常利用の安全性評価は、攻撃されたときの耐性を保証しません。

この記事が扱う一次資料と、その利害関係

出典は、MLCommonsが2025年10月15日に公開したホワイトペーパー「AILuminate Security: Jailbreak Benchmark v0.5」です（出典：MLCommons（AILuminate Security: Jailbreak Benchmark v0.5、2025年10月15日。著者はMLCommonsのほかQualcomm、Google DeepMind、NVIDIA、Amazon、Oxford大などの共著）、2025-10-15、https://mlcommons.org/ailuminate/jailbreak-v0.5-whitepaper/）。

先に利害関係をはっきりさせます。この記事は、公平な第三者による検証結果を紹介するものではありません。この文書はMLCommons自身による発表であり、同社（同コンソーシアム）は、比較のベースラインに用いられたAILuminate v1.0安全性ベンチマークと、今回の脱獄ベンチマークそのものの提供者です。画像＋テキストの評価に使われたMSTSデータセットも、MLCommonsの資金提供で作成されたものです。つまり「自社のベンチマークが有用な信号を出す」ことを示す論文であり、その分は割り引いて読む必要があります。

そのうえで、数字自体は具体的で、条件も明示されています。読む価値があるのはそこです。

何を、どの範囲で測ったのか

まず対象範囲を押さえます。ここを曖昧にしたまま数字だけ持ち帰ると、確実に誤読します。

項目	テキスト対テキスト（T2T）	画像＋テキスト入力（T+I2T）
被験システム数（SUT）	39システム	5システム
危害カテゴリ数	12カテゴリ	5カテゴリ
ベースライン用データ	公開AILuminate Demo（練習）データセットから抽出した1,200プロンプト	MSTSデータセット英語版（テキスト400プロンプト＋固有画像200点）
言語・ターン数	英語・シングルターン（1往復）のみ	英語・シングルターン（1往復）のみ
対象モデルの種類	オープンウェイトモデルのみ	オープンウェイトモデルのみ
安全性スコアの定義	非違反応答率（違反しなかった応答の割合）	非違反応答率（違反しなかった応答の割合）
公開時点	2025年10月15日、v0.5（Draft Release）	同左

指標は「Resilience Gap（耐性ギャップ）」と呼ばれるもので、ベースライン安全率から攻撃下安全率を引いた差です。数字が大きいほど、攻撃を受けたときに崩れる幅が大きいことを意味します。

SUTの選び方も明記されています。網羅性ではなく、エンジニアリングのスループット最適化で選ばれました。2025年8月28日時点のLMSys Arena上位100オープンモデルを4層に分類し、動かなければスキップして次へ、という進め方です。本文は「今後のリリースはより代表性を高める」と書いており、現時点の39システムは母集団を代表しません。

実測値：19.81%と、39システム中35システム

主要な数字を並べます。

19.81% ── 脱獄攻撃下でのT2T安全性スコアの低下幅。n=39のT2T SUT全体の平均、12危害カテゴリ横断。分母は非違反応答率。ベースラインは公開AILuminate Demo（練習）データセットから抽出した1,200プロンプト。英語・シングルターン
39システム中35システム ── 攻撃下で安全性グレードが低下したシステム数。5段階の順序尺度。内訳は29システムが1段階低下、6システムが2段階低下（うち5件がGood→Poor、1件がVery Good→Fair）。低下しなかったのは4システムのみで、攻撃下のほうが良かったシステムはゼロ
12カテゴリ中11カテゴリ ── 全体低下率19.81%から6%以内に収まった危害カテゴリ数。T2T、n=39システム。外れ値は性的コンテンツのみ（-6.41%）
25.27% ── 画像＋テキスト入力（T+I2T）の安全性スコア低下幅。n=5のT+I2T SUT、5危害カテゴリ。カテゴリ別は自殺・自傷が-29.88%、その他が-28.80%、非暴力犯罪が-28.29%、性的犯罪が-22.83%、暴力犯罪が-13.57%
3%〜20% ── T+I2Tで、攻撃タクティク2がベースライン安全性スコアを引き下げた幅（n=5のT+I2T SUT各々）。タクティク1は1システムでほぼ全ての応答を違反に誘導した一方、別の1システムでは全く効かず、振れ幅が極端

12カテゴリ中11カテゴリが全体平均から6%以内という点は、意味を取り違えないでください。これは「特定の弱点カテゴリがあるから、そこだけ塞げばよい」という話の逆です。攻撃が効くと、危害カテゴリの全域がほぼ均等に崩れるということです。「うちのボットは犯罪の相談なんて受けないから関係ない」という切り分けが効かない、という読み方になります。

なお使用された攻撃手法とその出典論文は、協調的脆弱性開示（ISO/IEC 29147等）の方針から一切非公開です。第三者による再現・検証はできません。

測定装置そのものの精度も、本文が自認して落としている

このホワイトペーパーの誠実な点は、自分の測定装置の粗さを本文に書いていることです。

T2Tの評価器（LLM-as-a-judge、v0.5）の実測エラー率は偽非違反率17.1%／偽違反率29.7%。12のAILuminate危害カテゴリにまたがる921件の正解データセットを、全攻撃手法で変形させて測定した値です。候補5モデル中で両者のバランスが最良のものを採用しています
本文はこの精度について「v1.0の安全性ベンチマークに求める精度には達していない」と明記しています。しかも正解セットは921件と小規模です
T+I2T評価器のエラー率は偽非違反率5.5%／偽違反率9.0%。ただしこれはMSTSデータセットから抽出した人手正解判定との照合であり、かつ攻撃を加えていない素のシードプロンプトでの測定です。評価器全体の精度ではありません

つまり、19.81%という数字は誤差の小さくない測定器で得られたものです。「20%くらい落ちる」という粒度の信号として受け取るのが妥当で、システム間の細かい優劣を論じる根拠にはなりません。実際v0.5は「Draft Release」であり、方法論が意図した信号を出すかの検証が目的です。リーダーボード的な順位比較は目的外で、結果は匿名化されベンダー名も非公表。v1.0は2026年Q1予定とされています。

そのほか、本文が自ら認めている限界を並べます。

評価対象はオープンウェイトモデルのみ。本文自身が「最新のホスト型フロンティアモデルならここまで簡単には破られないと想定する向きもあろう」と書いており、ChatGPTやClaudeのような商用APIサービスの耐性を示す数値ではありません
英語・シングルターンのやり取りのみ。多ターンでの誘導、多言語、その他モダリティは捕捉できていないと明記されています
T+I2Tトラック（n=5）はT2Tより明確に未成熟。危害カテゴリ数・攻撃種類・SUT数・評価器精度のいずれも劣ると本文が認めています。またMSTS自体、「規制対応など実世界の意思決定の根拠に用いることをまだ想定していない」と明記されたデータセットです
T+I2Tの評価では、画像そのものを安全性判定に使っていません。多くのモデルが画像を理解できていない応答を返したため、人手で書いた画像説明文で代替しています
結果はシステムレベルの指標であって保証ではない、とベースラインのAILuminate側の限界としても明記されています

中小企業にとって、何が変わるのか

ここからが読者への意味です。社内チャットボットや問い合わせ自動応答にオープンウェイトLLMを載せる場合、この論文が示しているのは一点に尽きます。「通常利用での安全性」と「攻撃されたときの安全性」は別の指標である、ということです。

39システム中35システムがグレードを落とし、改善したものはゼロでした。ベンダーや配布元が示す安全性の評価は、ほぼ例外なく通常利用条件の数字です。それをそのまま受け入れ基準にすると、悪意ある入力を想定した実運用の耐性は担保できません。

具体的な行動は2つです。

導入時の受け入れテストに「攻撃プロンプトを入れた条件」を1本足す。通常の業務質問セットだけで合格判定を出さない、というだけの話です。攻撃手法そのものは非公開ですが、社内で「本来断るべき依頼を、言い方を変えて通そうとする」プロンプトを数十本作るだけでも、ゼロよりははるかにましです
ISO/IEC 42001（AIマネジメントシステム）を意識するなら、「ベースライン安全率 − 攻撃下安全率」を記録として残す。この差分＝Resilience Gapという考え方は、そのまま社内の評価記録の項目にできます。値の絶対水準よりも、モデルを入れ替えたときに差分がどう動いたかが管理の実体になります

一方で、この論文から言えないことも明確にしておきます。日本語運用の耐性と、複数ターン会話での耐性は、この論文では分かりません。実際の社内ボットは日本語で、かつ会話が続く形で使われます。そこは自分たちで確かめるしかない領域です。

AIの選定判断そのものの考え方はAIツール選定の考え方、自社基準で評価をつくる話は自社の評価基準をつくる、社内にモデルを置く前提の論点はローカルLLMという選択肢も合わせてどうぞ。

TOEの読み筋

TOEでは、このジェイルブレイク・ベンチマークを自社環境で再現した検証は未実施です。 攻撃手法が非公開である以上、同じ条件での再現はそもそもできません。以下は論文を読んだうえでの解釈であり、実測の裏付けはありません。

そのうえで、私たちが受け取ったのは次の3点です。

第一に、「安全性グレード」という単一の看板を信用するのをやめる、という運用上の帰結です。同じモデルが条件によって2段階落ちるのなら、グレードは条件とセットでしか意味を持ちません。社内でモデルを選ぶときは、数字ではなく「どの条件で測った数字か」を先に聞く癖のほうが実用的です。

第二に、カテゴリ単位の対策が効きにくい、という点です。12カテゴリ中11カテゴリが平均から6%以内に収まったという結果は、防御を薄く広く考えるべきことを示唆します。特定の危険ワードをブロックする方向の対策は、費用対効果が思ったより低い可能性があります。

第三に、これは中小企業にとって必ずしも悲観的な話ではない、ということです。対象がオープンウェイトモデル限定であることは、裏返せば、商用APIサービスを使うという選択がリスク管理として素直だという含みを持ちます。ただし論文はホスト型の数字を持っていないので、これは論文が示した事実ではなく、あくまで範囲外の推測です。そう明示したうえで書いています。

まとめ

MLCommonsのジェイルブレイク・ベンチマークv0.5では、公開・既知の攻撃下でT2T安全性スコアが平均19.81%低下した（n=39システム、12危害カテゴリ、英語・シングルターン、オープンウェイト限定）
39システム中35システムが安全グレードを1段階以上落とし、攻撃下のほうが良かったシステムはゼロだった
12カテゴリ中11カテゴリが全体平均から6%以内に収まり、特定カテゴリだけが弱いのではなく全域が均等に崩れることが示された
ただしこれはMLCommons自身が提供するベンチマークについての同社自身の発表であり、評価器の精度も偽非違反率17.1%／偽違反率29.7%と本文が「v1.0に求める水準に達していない」と自認している。攻撃手法は非公開で第三者検証もできない
中小企業の実務としては、受け入れテストに攻撃条件を1本足す・Resilience Gapを記録に残す、の2点が直接の行動になる。ただし日本語運用と多ターン会話の耐性はこの論文では分からず、TOEでも未検証である