AIの性能は普通「どれだけ正解したか」で語られます。しかし実務では、その正解に1回いくらかかったかが同じくらい効きます。2026年7月16日に公開された研究は、コストを揃えて比較すると評価の順位が変わること、さらに仕事の種類によって「予算を積む効果」がまるで違うことを示しました。AI導入の投資判断に直接効く話です。
何が測られたのか
Paul Kassianik・Blaine Nelson・Yaron Singer による論文です（出典：arXiv:2607.15263、2026年7月16日、https://arxiv.org/abs/2607.15263v1）。
題材はセキュリティ業務です。AIにセキュリティの仕事をさせる評価は通常、十分な予算を与えた状態での最高性能能を測ります。しかし論文はこう指摘します。実際の現場では、AIが考える1ステップ、ツールを1回呼ぶこと、ログを1回検索すること、そのすべてが費用を消費する、と。
そこで研究チームは、同じ費用の条件で揃えて比較するという方法を取りました。攻撃側の課題（Cybench）と防御側の課題（Splunk BOTS v1 の調査タスク）の両方で、成績を「推論にかけた費用」と「ツール利用にかけた費用」に分解しています。
結果 — 攻撃と防御で、伸び方が違った
この論文の核心は、仕事の種類によってコストの効き方が逆になるという発見です。
| 仕事の種類 | 予算を増やしたときの挙動 |
|---|---|
| 攻撃側（脆弱性を見つける・突破する） | 計算量を増やすほど成績が上がる。オープンウェイトのモデルでも、規模を上げれば最前線の商用モデルに近づき、費用対効果でも競争力を持つ |
| 防御側（何が起きたかを調査する） | 同じようには伸びない。成績を左右するのは推論予算より、規律あるツールの使い方・ログの辿り方・情報の取捨選択 |
つまり防御的な調査業務では、AIに長く考えさせても成績は頭打ちになるということです。効くのは「賢さ」ではなく「手順の型」でした。
数字で見る「予算を積んでも伸びない」
本文には実際の金額が出ています。1課題あたり2.10ドルという上限を揃えて比較した結果です。
| モデル | 攻撃側（Cybench）の成功率 | 1問解くあたりの費用 |
|---|---|---|
| GPT-5.5 | 94.1% | $1.16 |
| DeepSeek v4 Flash | 86.4%（上限なし時） | $1.45 |
| GPT-5.6 Luna | 79.5% | — |
| Claude Opus 4.8 | 76.2% | $3.18 |
同じ課題を解くのに、費用が2.7倍違います。成功率だけを見ていると、この差は見えません。
さらに重要なのが、予算を増やしたときの伸び方です。0.80ドルからフル予算に上げたときの改善幅を見ると、
- Claude Opus 4.8：+18.8ポイント
- DeepSeek v4 Flash：+10.3ポイント
- GPT-5.5：+2.6ポイント
もともと強いモデルほど、予算を足しても伸びません。すでに上限近くにいるからです。逆に言えば、成績が低いモデルは予算不足なだけかもしれないということです。1回の比較で「このモデルはダメだ」と判断すると、この構造を見落とします。
防御側では、金を積んでも動かない
防御側の調査課題（Splunk BOTS v1、満点10,300点）では、順位が入れ替わります。
| モデル | 得点 | 1,000点あたりの費用 |
|---|---|---|
| Claude Opus 4.8 | 9,666.7点（93.9%） | $2.98 |
| GPT-5.6 Terra | 92.1% | $3.55 |
| GPT-5.5 | 81.0% | — |
| DeepSeek v4 Flash | — | $5.79 |
攻撃側で最高だった GPT-5.5 が、防御側では81.0%に落ちています。仕事が変われば最適なモデルも変わる、という実例です。
そして決定的なのが次の数字です。DeepSeek v4 Flash で予算を2.10ドルから4.20ドルへ倍増させたところ、
- 得点：73.0% → 73.9%（+0.9ポイント）
- ツール呼び出し回数：4,450回 → 4,938回
費用を倍にして、成績は1ポイントも動きませんでした。呼び出し回数だけが増えています。これが「金を積んでも伸びない領域がある」ということの実測値です。
この研究が自ら示した留保
論文は、都合の悪い検証結果も報告しています。ツールを一切使わせない状態で防御側の課題を解かせたところ、
- Claude Opus 4.8：7,700点／10,300点（74.8%）
- GPT-5.5：6,400点／10,300点（62.1%）
調査させていないのに7割取れてしまっています。論文はこれを、学習データにこの課題が含まれていた可能性（データ漏洩）を示す重要なリスクとして挙げています。
これは読み手として重要です。93.9%という数字のうち、どこまでが本当に調査した結果なのかは分からないということです。ベンチマークの数字を鵜呑みにできない理由が、この論文自身の中に書かれています。
論文は、セキュリティAIの評価は成功率だけでなく経済的な効率と実務への適合を測るべきだと主張し、結果を公開サイト（https://evals.frontier.security）でも提供しています。
中小企業にとって何を意味するか
セキュリティ分野の研究ですが、AI導入の判断に一般化できる示唆が3つあります。
- 「一番賢いAI」が最適解とは限らない。 費用を揃えて比べると順位が変わる。カタログの最高性能ではなく、自社が払える範囲での性能で比べる必要があります
- 仕事によっては、金をかけても伸びない。 調査・確認・整理のように「手順の正確さ」が効く業務では、上位モデルに変えても成果が比例しません。ここで効くのは手順の設計です
- 費用は「回数×単価」で膨らむ。 AIが1回考えるたび、ツールを1回呼ぶたびに課金される構造では、成功率が同じでも運用費が数倍違うことが起こります
3つ目は見積書では見えません。「AIで自動化します」という提案を受けたとき、1件処理するのに何回AIを呼ぶ設計になっているかは確認する価値があります。
何を確認すればよいか
- 月あたりの処理件数と、1件あたりの想定コストを出してもらう
- 上位モデルに変えたときに、成果がどれだけ変わるかを試してから決める（変わらない業務が実際にあります）
- 失敗したときの再試行が、何回まで回る設計か（無制限だと費用が青天井になります）
- 成功率だけでなく、失敗時に何が起きるかを確認する
TOEではどうか
この研究と同じ費用対効果の測定は、TOEでは実施していません。
ただし方針としては近い運用をしています。TOEでは自社メディアの運用で、大量処理には安価な小型モデルを明示的に指定し、判断が要る工程にだけ上位モデルを使うという切り分けをしています。これは分析の結果ではなく、モデルを指定し忘れて大量の処理を失敗させた実際の事故から導入したルールです。その顛末はAI処理414件を失敗させた話に書いています。
結果として、自社メディア2本の運用でAIの従量課金を発生させずに回せています。詳細はAPI課金ゼロでAIメディアを2本動かすにまとめました。
この経験から言えるのは、工程を分けて安いところは安く回すという当たり前の設計が、AIでもそのまま効くということです。全工程を最上位モデルで回すのは、全部の作業を役員にやらせるのと同じです。
まとめ
- セキュリティAIの研究で、費用を揃えて比較すると評価が変わることが示された（arXiv:2607.15263、2026年7月16日）
- 攻撃側の課題は計算量を積むほど伸びるが、防御側の調査業務は同じように伸びない。効くのは推論予算より手順の規律
- 同じ課題を解くのに 1問 $1.16 〜 $3.18 と2.7倍の差。成功率だけでは見えない
- 予算を倍（$2.10→$4.20）にしても得点は 73.0%→73.9% しか動かず、ツール呼び出しだけが 4,450→4,938 回に増えた
- 強いモデルほど予算追加で伸びない（GPT-5.5 +2.6pt に対し Claude Opus 4.8 は +18.8pt）。1回の比較で優劣を決めない
- 攻撃側で最高だった GPT-5.5 が防御側では81.0%に落ちる。仕事が変われば最適なモデルも変わる
- 論文自身がデータ漏洩の疑いを報告している（ツールを使わせなくても Claude Opus 4.8 が74.8%を取得）。ベンチマークの数字は鵜呑みにできない
- 中小企業でも「一番賢いAI」が最適とは限らず、自社が払える範囲での性能で比べる必要がある
- 見積時は「1件あたり何回AIを呼ぶ設計か」「再試行が何回まで回るか」を確認する
- TOEでは同じ測定は未実施。ただし工程ごとにモデルを使い分ける運用は行っている
AIの投資判断で見るべきなのは、最高性能ではなく払える金額でどこまで届くかです。