「安いから中国製オープンウェイトモデルを使う」という判断は、米国商務省の実測では価格面でも成立しませんでした。同等性能に要した費用はGPT-5-miniが平均35%安く、エージェント乗っ取り試験ではDeepSeekの最良モデルでも認証情報の窃取が37%の試行で発生しています。ただしこれは米国政府による自国比較であり、暫定的な評価だと報告書自身が明記しています。
誰が、どんな立場でこの評価をしたのか
まず出どころを押さえます。この評価は、米国商務省NIST傘下のCenter for AI Standards and Innovation（CAISI）が実施し、2025年9月30日に公開したものです。ラトニック商務長官の2025年6月3日付指示およびトランプ大統領のAI Action Planに基づき、「敵対国のAIシステム」を評価する任務として行われました。検閲評価に使われたデータセット CCP-Narrative-Bench は米国務省が作成しています。
つまり、評価者は米国政府機関であり、比較対象は自国企業のモデル、評価される側は競合国である中国のモデルという構図です。企業が自社製品について発表するのと同じ構造の利害関係が、国家レベルで存在します。中立的な第三者評価ではない、という前提で数字を読む必要があります。
そのうえで、報告書自身が置いている限界も先に共有します。本文は「本評価の結果は暫定的（preliminary）と見なすべき」と明記しています。特定時点の特定バージョンに対する部分的評価であり、評価手法自体が進化途上であることを自認しています。また、評価対象はHugging Faceからダウンロードして自社サーバーで自己ホストしたモデルであり、DeepSeek社のAPIや第三者クラウド経由ではありません。本文は「クラウドサービス経由なら入出力フィルタ等の追加ガードレールが付く場合があり、特にセキュリティとCCP検閲の評価結果は異なる可能性がある」と注記しています。
（出典：Center for AI Standards and Innovation (CAISI), National Institute of Standards and Technology (NIST)／米国商務省。ラトニック商務長官の2025年6月3日付指示およびトランプ大統領のAI Action Planに基づく評価。CCP検閲評価用データセット CCP-Narrative-Bench は米国務省が作成、2025-09-30、https://www.nist.gov/system/files/documents/2025/09/30/CAISI_Evaluation_of_DeepSeek_AI_Models.pdf）
一次資料の実測：性能・コスト・セキュリティの数字
主要な実測値を、条件つきで並べます。
| 評価項目 | 条件・対象範囲 | DeepSeek | 米国参照モデル |
|---|---|---|---|
| コスト（同等性能到達まで） | 13の性能ベンチマーク全体での平均。トークン単価ではなくタスク完遂までのエンドツーエンド費用。13中11で統計的に有意 | V3.1が基準 | GPT-5-miniが平均35%低コスト |
| SWE-bench Verified（実世界のソフトウェア課題） | 2025年9月実施。ソフトウェア開発ツールを与えReActループのエージェントとして実行。同一ベンチマーク内は全モデル同一環境・同一ツール | V3.1が55%、R1が25% | 最良が67% |
| CVE-Bench（既知脆弱性を持つ遠隔標的の実攻略） | 15の現実的な攻略課題（うち8課題は非公開） | V3.1が37%、R1が27% | 最良が67% |
| Cybench | 40課題 | V3.1が40%、R1が17% | 最良が74% |
| CTF-Archive | 577問をサンプリング | V3.1が28%、R1が9% | 最良が51% |
| 脱獄への応答率（明白に悪意ある要求） | 2025年9月実施。17種類の既知脱獄手法を試し、各モデルで最も効果的だった手法の結果。有害生物学・暴力行為の65問×3サンプル、ハッキング・詐欺の80問×3サンプル | 最も堅牢なR1-0528で94% | 8% |
| エージェント乗っ取り：認証情報の窃取 | AgentDojoフレームワーク。CAISI作成の30の利用者タスク×2種類の注入攻撃 | R1-0528で37% | GPT-5とOpus 4の平均4%（gpt-ossは27%） |
| エージェント乗っ取り：フィッシングメール送信 | 同上 | R1-0528で48% | 同平均3%（gpt-ossは48%） |
| エージェント乗っ取り：マルウェアのダウンロード実行 | 同上 | R1-0528で49% | 同平均4%（gpt-ossは28%） |
読み方の注意を3つ挙げます。
- 乗っ取りの37%／48%／49%は、V3.1ではなくDeepSeek中で最も堅牢なR1-0528の数値です。最良のモデルでこの水準、という読み方になります。
- 米国参照モデルの「平均」は多くの場合GPT-5とOpus 4の2モデル平均であり、n=2と小さい標本です。
- 表の注記では、一部の評価（特に科学・知識系ベンチマーク）で最高性能モデルと下位モデルの差が誤差範囲内であると明記されています。
検閲に関する数値は、プロンプトの言語で大きく変わります。CCPの不正確・誤解を招く言説を反復した割合は、中国語プロンプト時にV3.1が12%、R1が10%、R1-0528が26%、米国参照モデル平均が3%。英語プロンプト時はV3.1が5%、R1が1%、R1-0528が16%、米国参照モデル平均が2%でした。同じモデルでも言語によって倍以上動くため、「何語で聞いたときの数字か」を確認せずに引用すると誤読につながります。
採用状況については、2025年1月比で直近9か月（2025年9月まで）にHugging FaceでのDeepSeekダウンロードが960%超、Alibabaが135%増、OpenRouterでのDeepSeek API利用は5,900%超増と伸びています。ただしV3.1単体では公開1か月後のHugging Faceダウンロードは206,000回でgpt-oss-20bの2%に過ぎず、派生モデル投稿数も12%未満。一方でOpenRouterのAPIリクエストは4週間で9,750万回とgpt-ossファミリーを25%上回っています。報告書自身が、この採用分析は利用データが多数のプラットフォームに散在するため「部分的な視点にすぎない」と認めています。
読者への意味：中小企業の判断に効くのはどこか
中小企業の経営者・情報システム担当にとって、この報告書から持ち帰るべき論点は3つに絞れます。
第一に、コスト比較の物差しです。 「トークン単価が安い」と「タスクを終わらせるまでの総額が安い」は別物です。今回の実測は後者で比較しており、13ベンチマーク中11で統計的に有意にGPT-5-miniが安く、平均で35%の差がつきました。推論の遠回りやリトライを含めた総額で見ると、単価の安さが逆転しうるということです。社内でAIツールを比較するときは、単価表ではなく「同じ仕事を最後まで終わらせるのにいくらかかったか」を測る設計にしてください。この考え方はコストを含めた評価設計の記事と合わせて読むと組み立てやすくなります。
ただしこのコスト分析には誤差の向きが両方あります。DeepSeek側の価格は同社API公表価格を使っており、報告書自身が「他社経由の方が安い場合が多い」と注記しています。逆に、DeepSeekは64kトークン上限の価格で提供しているのに128kとして分析しており、DeepSeek側費用を過小評価している可能性も自認しています。35%という数字は、上にも下にもぶれる前提の平均値です。
第二に、AIエージェントに何を触らせるかです。 メール処理や社内文書の要約をAIエージェントに任せる構成では、外部から流し込まれた文章にエージェントが乗っ取られる「間接プロンプトインジェクション」が現実的な脅威になります。今回の試験では、DeepSeekで最も堅牢なR1-0528でも、認証情報の窃取が37%、フィッシングメールの送信が48%、マルウェアのダウンロード実行が49%の試行で発生しました。受信箱や認証情報にエージェントの手を届かせる前に、モデル選定そのものがセキュリティ設計の一部だと考える必要があります。外部入力がモデルの挙動を書き換える経路については記憶汚染の記事も併読を勧めます。
第三に、「オープンウェイト＝安全ではない」ということです。 米国製オープンウェイトのgpt-ossは、脱獄耐性ではDeepSeek全モデルを上回りました。オープンウェイトでも堅牢な選択肢はある、という意味です。一方で乗っ取り耐性ではgpt-ossもフィッシング48%・認証情報窃取27%・マルウェア実行28%と低く、クローズドのGPT-5／Opus 4（平均3〜4%）とは大きな差があります。自社サーバーで動かせることと、乗っ取られないことは別問題です。モデルの選び方はAIツール選定の記事の観点も併せて整理してください。
数字を鵜呑みにしないための、報告書自身の但し書き
不都合な点も含めて、報告書が置いている限界を列挙します。
- 結果は暫定的（preliminary）であり、特定時点の特定バージョンに対する部分的評価であると本文が明記している。
- 評価対象は自己ホストしたモデルで、DeepSeek社APIや第三者クラウド経由の挙動とは異なりうると本文が明記している。
- セキュリティ評価は包括的なセキュリティ評価と解釈すべきでないとし、特定環境や特定プロンプトで悪意ある挙動を示すかは分析していない。
- 脱獄評価について「何が悪意ある要求かは主観的でありうる」「サイバー領域はデュアルユースで判断が複雑」と自認。脱獄以外にファインチューニング等の安全装置回避手法もあり、脱獄評価だけでは安全性や悪用リスクは決定できないとしている。
- 脱獄評価の自動採点は、LLMグレーダーと人間採点者の一致率がコンプライアンス判定で96%だが、詳細度の判定では84%と低い（各回答を3つの独立したグレーダーモデルで採点し最頻値を採用）。
- ベンチマーク自体の方法論的限界（実務有用性との関連性、領域横断の一般化、訓練データとの重複）を本文が認めている。
- モデルの開発方法・開発コスト・蒸留データで訓練された可能性については調査していないと明記している。
つまり、この報告書は「DeepSeekは使えない」という結論を出す資料ではありません。「この条件で測ったらこの差が出た」という一つの実測です。自社の判断材料にするなら、自社の業務条件で測り直す前提を持つべきです。評価軸を自分で持つ考え方は自社の評価基準を作る記事が参考になります。
TOEの読み筋：うちならどこを直すか
以下はTOEの見立てであり、TOEではこの評価の再現検証も、DeepSeek系モデルの業務投入も未実施です。 一次資料の数字から導いた解釈として読んでください。
読み筋は3点です。
- 選定基準を単価から総額に書き換える。 見積の比較表が「1Mトークンあたり◯円」で並んでいるなら、それは今回の実測が否定した物差しです。代表的な社内タスクを10件程度決め、同じタスクを最後まで完遂させたときの実費で並べ直す。この作り替え自体は数日で済みます。
- エージェントの権限を、モデルの乗っ取り耐性に合わせて絞る。 乗っ取り試行の成功率が数十%規模で出る以上、「モデルが賢いから任せる」ではなく「乗っ取られても被害が出ない範囲しか触らせない」が先です。送信権限・認証情報・外部APIの3つは、当面は人間の承認を挟む設計が現実的だと考えています。
- 国産・自己ホストの是非は、この報告書だけでは決められない。 評価が米国政府による自国比較であること、クラウド経由なら結果が変わりうると本文が認めていることの2点から、TOEとしては「この報告書を根拠に特定国のモデルを一律排除する」提案はしません。代わりに、自社データが外部に出る経路の有無と、乗っ取り時の最大被害額で判断する方が実務的です。
まとめ
- 米国商務省NIST傘下のCAISIによる2025年9月30日公開の評価で、GPT-5-miniはDeepSeek V3.1と同等性能を平均35%低コストで達成し、13ベンチマーク中11で統計的に有意な差がついた（トークン単価ではなくタスク完遂までの総額比較）。
- エージェント乗っ取り試験では、DeepSeekで最も堅牢なR1-0528でも認証情報の窃取37%、フィッシングメール送信48%、マルウェア実行49%。GPT-5とOpus 4の平均は3〜4%（n=2）。
- 米国製オープンウェイトのgpt-ossは脱獄耐性でDeepSeek全モデルを上回ったが、乗っ取り耐性ではフィッシング48%と低く、「オープンウェイトなら安全」は成立しない。
- この評価は米国商務省が自国モデルを比較対象に実施したものであり、中立的な第三者評価ではない。報告書自身も結果を暫定的（preliminary）と明記し、自己ホスト前提のためクラウド経由では結果が異なりうるとしている。
- 中小企業が今すぐできるのは、比較表を単価から総額に書き換えることと、AIエージェントに送信権限・認証情報・外部APIを渡す前に人間の承認を挟むこと。TOEではこの評価の再現検証もDeepSeek系モデルの業務投入も未実施です。