AIの判定APIを社外に公開すると、攻撃者は返ってくる信頼度スコアの微妙な変化を手がかりに、判定をすり抜ける入力を作れます。2026年7月16日公開の研究は、返すスコアをランダムに歪めるだけで、この種の攻撃の成功率が100%から43〜59%に下がり、しかも本来の分類精度は0%しか落ちなかったと報告しました。ただし成功率はゼロにはなりません。
何が測られたのか
「Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks」という論文です（出典：arXiv:2607.14921v1、2026年7月16日公開、https://arxiv.org/abs/2607.14921v1）。著者はHamid Dashtbani、Mehdi Dousti Gandomani、AmirMahdi Sadeghzadehの3氏です。
前提の整理から入ります。AIモデルを外部に公開するとき、多くのAPIは判定結果と一緒に信頼度スコア（「この画像は猫である確率0.87」といった数値）を返します。利用者にとっては便利な情報です。
しかしこのスコアは、攻撃者にとっては方向を教えてくれる計器になります。入力を少しずつ変えながら問い合わせを繰り返し、スコアがどう動いたかを見れば、「どちらに動かせば判定が崩れるか」が分かる。これがスコアベースのブラックボックス攻撃です。モデルの中身を一切知らなくても成立します。
この論文が提案したRandom Logit Scaling（RLS、ランダムなスコア倍率変換）は、モデルが出す生のスコアにランダムな倍率をかけてから返すという手法です。判定そのもの（どのラベルが最大か）は変えないので分類精度は落ちない。一方で攻撃者が読み取る「スコアの動き」にはノイズが乗る、という設計です。
実験結果の数字
評価は画像分類の2つのデータセットで行われました。条件は、テスト1,000サンプル、1攻撃あたり10,000クエリです。
| 条件 | 攻撃手法 | 無防御 | RLS適用後 |
|---|---|---|---|
| CIFAR-10 / ResNet-18、1,000サンプル、10,000クエリ、ε=0.05(ℓ∞) | Square攻撃 | 100% | 43〜59% |
| ImageNet / 学習済みResNet-50、1,000サンプル、10,000クエリ | Square攻撃 | 100% | 48〜59% |
| ImageNet / ResNet-50、1,000サンプル、10,000クエリ | NES攻撃 | 99.34% | 56〜57% |
無防御の状態では、Square攻撃は10,000クエリで100%成功しています。「たいていは破られる」ではなく、1,000サンプル全部で判定をすり抜ける入力が作れたということです。
副作用の側も測られています。
- 分類精度の低下幅：RLSは0%。比較対象とされた既存手法iRND（ランダムノイズ防御）はCIFAR-10で-3.44%
- 返される信頼度スコアの歪み（L2ノルム平均）：RLSは0.022〜0.027、iRNDは0.033〜0.087（各データセット・モデルの平均、上記実験設定）
- 防御を織り込んだ適応型攻撃（EOT, k=10。同一入力を10回問い合わせて平均化する設定）の成功率：RLSは42〜55%、iRNDは74〜82%
適応型攻撃の行が重要です。攻撃者が「この防御はランダムだ」と気づけば、同じ入力を何度も送って平均を取ればノイズは消せます。k=10でその平均化を行ってもRLSは42〜55%に抑えられた、というのがこの数字の意味です。ただし裏を返せば、クエリ数を増やせば攻撃側の有効性は上がる。著者らもその依存関係を認めています。
論文が認めている限界
この論文は、自分の手法の弱点をかなり率直に書いています。中小企業が読むうえで、こちらのほうが実務的な価値があります。
- ラベルだけを見る決定ベース攻撃には無力。RLSは信頼度スコアを歪めるだけなので、予測ラベルしか使わない攻撃者にはまったく効かない
- 証明付きの堅牢性（certified robustness）はない。ランダム化に依存するため、十分なクエリ数を投じられる攻撃者には突破されうると著者自身が述べている
- 防御後も攻撃成功率は42〜59%程度残る。ゼロにはならない。攻撃コストを上げる対策であって、遮断ではない
- 信頼度の較正が悪化する。期待較正誤差（ECE）が平均1.3〜1.8ポイント増（RLS適用時、記載の実験設定）。スコアの数値そのものを業務判断に使う用途では副作用になる
- 評価は画像分類（CIFAR-10 / ImageNet）に限定。言語モデルや他タスクでの検証はない
さらに踏み込んだ点があります。著者らはこの論文の中で、Pendulum攻撃という新しい攻撃手法を自ら考案し、既存の出力操作型防御AAA-sineに対して成功率81.42%（従来のSquare攻撃比 +35.62ポイント、Pen-Square-10設定）を達成したと報告しています。
つまり「出力を加工して守る」という発想の防御は、新しい攻撃が設計されれば無効化されうることを、この論文自体が実証している。RLSも例外ではありません。
中小企業にとって何を意味するか
正直に位置づけると、関連の強さは弱め〜中程度です。
関係がない会社のほうが多いという前提から書きます。ChatGPTやClaudeのようなベンダーAPIを「使うだけ」の会社には、この話は直接関係しません。守る側の設計をするのはベンダーであって、利用者ではないからです。この場合の関連は弱い、と言い切っておきます。
関係があるのは、自社のAI判定を社外に開けている会社です。具体的には次のような形です。
- AI-OCRを取引先や顧客にAPI提供している
- 不正検知・与信判定の結果を外部システムに返している
- 画像判定（傷検査・分類）をSaaSとして外販している
- 顧客向けWeb画面で、判定結果と一緒に「確信度」を表示している
この4つ目は見落とされがちです。管理画面に「信頼度87%」と出しているだけでも、それは外部に測定器を渡していることになります。
示唆は一点に集約されます。信頼度スコア（確率値）を生で返すのは危険である。
取れる設計判断は3つです。
| 設計 | 内容 | 副作用 |
|---|---|---|
| ラベルのみ返す | 確率値を返さず判定結果だけ返す | 決定ベース攻撃には依然として無力。利用者の使い勝手は落ちる |
| スコアを丸める | 0.87 → 「高」など粗い段階に変換 | 微細な変化が読めなくなる。表示の精細さは失われる |
| スコアを揺らす | 本論文のRLSのような処理 | 較正が悪化する（ECE 1.3〜1.8ポイント増） |
どれも万能ではありません。ただし何もしないと100%破られるというのが無防御時の実測値です。攻撃コストを上げること自体には意味があります。
外部にAI機能を開くかどうかの判断そのものは、AIツールの選び方で扱っている「何を自社に持ち、何を外に出すか」の線引きと地続きです。また、モデルを自社環境で動かす選択についてはローカルLLMという選択肢も併せてご覧ください。
TOEの読み筋
先に明記します。TOEでは未実施です。 自社のAI判定APIに対してこの種の攻撃耐性テストを行ったことはなく、RLSの導入実績もありません。以下は論文を読んだうえでの読み筋です。
読み筋は3つあります。
第一に、優先順位はそれほど高くない。 中小企業のAI活用で今いちばん壊れやすいのは、攻撃ではなく運用です。認証が甘い、ログを取っていない、権限設計が雑、といった基本のほうが先に問題になります。敵対的サンプル攻撃は、1万クエリを投じる相手が現れて初めて成立する話です。まずAPIキーとレート制限を見てください。10,000クエリという前提そのものを、レート制限で成立させないほうが安い。
第二に、それでも「スコアを生で返さない」は今日から効く。 これは実装コストがほぼゼロの設計判断です。新しくAPIを設計するとき、返すフィールドから確率値を外す、あるいは3段階に丸める。それだけで攻撃者の計器を奪えます。既存のAPIでも、利用者が実際にその数値を使っているか確認する価値はあります。使っていないのに返しているケースは珍しくありません。
第三に、この論文の本当の教訓は防御手法そのものではない。 著者ら自身がPendulum攻撃で既存防御を81.42%破っている事実のほうが重要です。出力を加工して守る防御は、攻撃側の更新で目減りする。 つまりRLSのような手法を入れたとしても、「対策済み」と考えるべきではありません。攻撃コストを上げただけであり、防御の賞味期限は攻撃側の研究進度に依存します。
この構造は、AIまわりのセキュリティ全般に当てはまります。設定して終わりにできる対策と、継続的に見直す必要がある対策を分けて管理する。RLS的な防御は明確に後者です。
なお、評価が画像分類に限定されている点も実務上は重要です。言語モデルのAPIに同じ発想が通用するかは、この論文からは何も言えません。
まとめ
- 無防御のAI判定APIは、1,000サンプル・10,000クエリの条件でSquare攻撃に100%突破された（CIFAR-10 / ResNet-18、ImageNet / ResNet-50）
- RLS適用後、攻撃成功率は43〜59%（CIFAR-10）、48〜59%（ImageNet Square）、56〜57%（ImageNet NES）に低下し、分類精度の低下は0%（既存手法iRNDは-3.44%）
- ただしゼロにはならず、ラベルのみを見る決定ベース攻撃には無力、証明付き堅牢性もなく、ECEが1.3〜1.8ポイント悪化する
- 著者ら自身が既存防御AAA-sineを81.42%で破るPendulum攻撃を示しており、出力操作型の防御が新しい攻撃で無効化されうることを本論文が実証している
- 中小企業への示唆は「AI判定を社外に開けるなら信頼度スコアを生で返さない」の一点。ベンダーAPIを使うだけの会社には関係しない。TOEでは未実施であり、まずはレート制限と認証の見直しを先に置くのが実務的