自社サーバーで動く小型モデルに、後から「推論力」を足せるのか。2026年7月16日公開の研究は、4Bクラスの小型モデルの数学スコアを45.8から70.3へ（+24.5ポイント）引き上げたと報告しています。ただし効いたのは「もともと弱いモデル」に限られ、既に強いモデルへの上積みは+1.5〜2.2ポイントに留まりました。弱いところにだけ効く、というのが結論です。

何が測られたのか

論文タイトルは「On-Policy Delta Distillation」。著者は Byeongho Heo、Jaehui Hwang、Sangdoo Yun、Dongyoon Han の4氏です（出典：arXiv:2607.15161v1、2026年7月16日公開、cs.LG / cs.CL、19ページ・図4・表12、コードはGitHub公開予定、https://arxiv.org/abs/2607.15161v1）。

背景から説明します。大きなAIモデルの能力を小さなモデルに移す作業を蒸留（distillation）と呼びます。賢い教師モデルの出力を、小さな生徒モデルに真似させる手法です。この蒸留には長年の弱点がありました。教師の出力をまるごと真似させると、教師が持っている「言葉づかい」や「知識」まで一緒にコピーしてしまい、本当に欲しかった「考え方」の部分がぼやけるという問題です。

この論文が提案しているのは、教師モデルそのものではなく、教師モデルとその素の土台モデルとの「差分」だけを学ばせるという方法です。たとえば「推論を鍛えた教師モデル」と「鍛える前の同じモデル」を並べて、その差分にあたる信号だけを取り出す。そこには「推論を鍛えたことで何が変わったか」だけが残る、という考え方です。論文はこれを delta signal と呼んでいます。

評価は14ベンチマーク（数学7・コード4・科学3）で行われました。対象モデルは Qwen3 の1.7B / 4B / 8B と Gemma4-E4B-it です。学習データは OpenMathReasoning / OpenScienceReasoning-2 / OpenCodeReasoning を1対1対1で混合した計10万問で、1回の学習あたり3万サンプル未満しか使っていません。

数字はどう動いたか

まず、もともと推論が弱い「非thinkingモード」での結果です。

モデル（非thinkingモード） 数学7ベンチ平均 コード4ベンチ平均 科学3ベンチ平均
Qwen3-1.7B 34.8 → 54.6（+19.8） 10.5 → 29.4（+18.9） 30.8 → 38.8（+8.0）
Qwen3-4B 45.8 → 70.3（+24.5） 22.1 → 40.1（+17.9） 40.0 → 50.5（+10.5）
Qwen3-8B 46.9 → 71.6（+24.7） 25.1 → 39.9（+14.8） 43.5 → 51.6（+8.1）

いずれもベースライン（学習前の同じモデル）との比較です。数学で20ポイント前後、コードでも15〜19ポイント動いています。しかもこれが100ステップ程度の短い学習で得られている、というのが論文の主張の核です。学習ダイナミクスの比較実験では、この100ステップの範囲で提案手法は優位を維持し、従来手法は早期にピークを打ってその後は横ばいまたは劣化したと報告されています。

一方、すでに推論が強い「thinkingモード」での結果は様子が違います。

モデル（thinkingモード） 数学7ベンチ平均
Qwen3-4B 73.3 → 74.8（+1.5）
Qwen3-8B 73.7 → 75.9（+2.2）

非thinkingモードの+20ポイント超に対し、+1.5〜2.2ポイント。同じ手法でも、対象の出発点によって効果の桁が変わります。

なお、中核要素である delta signal を外したアブレーション実験では約4ポイントの性能低下が確認されています。centering を除いた場合は約0.3〜0.9ポイントの低下、条件付けの除去は項目により微増もあり、という結果でした。効いているのは差分を取る部分だ、という裏取りにあたります。

論文が認めている限界

数字が派手なぶん、限界の側を先に押さえるべきです。論文が自ら記載しているものを挙げます。

  • 計算コストが増える。 教師モデルの土台モデルに対する追加のforward計算が必要で、従来の on-policy distillation（OPD）と比べて学習時間が Qwen3系で+24〜28%、Gemma4-E4Bで+8% 増加します。論文は実装が最適化されておらず削減余地があると明記しています
  • もともと強いモデルには効きにくい。 上に示した通り、thinkingモードでは改善幅が一桁前半に落ちます
  • 能力を壊す場合がある。 Gemma4-E4B-it（thinkingモード）ではコーディング性能が 55.2 → 49.5（-5.7ポイント）と低下しました。論文はこれを「劣化を最も抑えられた手法」と位置づけていますが、絶対値では下がっています
  • 学習期間に敏感。 100ステップ程度が最も良く、論文自身が「テストした範囲を超えて学習を延ばすべきではない」と示唆しています
  • 分析の射程が限定的。 サンプルされた系列上のトークン単位の教師信号のみを扱っており、サンプルされなかったトークンを扱う拡張版OPDには言及がありません
  • 評価タスクが限定的。 数学・科学・コードの推論タスクのみで、一般的な業務文書処理や日本語タスクでの検証はありません

最後の点は、日本の中小企業にとっては小さくない留保です。見積書の読み取りや議事録の整理といった実務は、この14ベンチマークのどこにも含まれていません。

中小企業にとって何を意味するか

先に正直に書きます。この論文は業務手順の話ではなく、示唆は間接的です。明日から現場で使える手順は書かれていません。そのうえで、経営判断に効く点が2つあります。

ひとつめ。4B〜8Bクラスの小型モデルが、3万サンプル未満・100ステップ程度の短い追加学習で、数学系スコアを大きく引き上げられているという事実です。これは「自社サーバーやローカルPCで動く程度の小さいモデルでも、学習のさせ方が正しければ業務で使える水準に届きうる」方向を示します。裏返せば、大手クラウドの巨大モデルに毎月払い続ける以外の選択肢が、少しずつ現実味を帯びる方向の研究だということです。この観点は社外に出せないデータをどう扱うかの検討と直結します。

ふたつめ。既に高性能なモデルをさらに社内用途向けに調整しても、伸びしろは小さく、別能力を壊すリスクがあるという事実です。thinkingモードで+1.5〜2.2ポイント、Gemma4ではコーディングが-5.7。自社チューニングに数百万円を投じる前に、まず「今使っているモデルは、うちの業務で具体的にどのくらい弱いのか」を測るのが先だ、という実務的な結論になります。

測り方については自社の基準で評価をつくるの考え方が使えます。ベンダーの提示するベンチマーク値ではなく、自社の実データで20〜30件の正解付き問題をつくり、現行モデルの正答率を出す。そこが既に十分高ければ、チューニング投資の期待値は低いと判断できます。

この研究をどう読むか（TOEの読み筋）

TOEでは未実施です。on-policy delta distillation を使った自社モデルの追加学習は行っていません。そのうえで読み筋を書きます。

小型モデルのチューニングは、これまで「やる価値があるかどうか」の判断材料が乏しい領域でした。効果があるという事例と、コストに見合わないという事例が並立していて、どちらも条件が違うので比べられなかったからです。この論文の価値は、手法の新規性より「効く条件」と「効かない条件」を同じ土俵の14ベンチマークで並べた点にあると読んでいます。弱いモデルには+20ポイント、強いモデルには+2ポイント。この落差そのものが判断材料です。

そこから導かれる実務上の順序は、おそらくこうなります。

  • まず現行モデルの弱点を自社データで測る（弱点が見つからなければチューニングは不要）
  • 弱点が「推論を要する処理」に集中しているなら、小型モデルの追加学習は検討に値する
  • 弱点が「社内知識を知らない」ことなら、これは学習ではなく検索側の問題であり、別の打ち手になる
  • コーディングなど別能力を業務で使っているなら、チューニング後にその能力も測り直す（-5.7の事例がある）

3つめは特に混同されやすい点です。「うちの業務を覚えさせたい」という要望の多くは、実際には推論力ではなく知識参照の話であり、追加学習では解決しません。この切り分けは導入前にツールをどう選ぶかの段階で押さえておくべきものです。

もうひとつ、計算コストの+8〜28%という数字は、額面よりも重く受け止めています。研究環境では誤差でも、社内の限られた計算資源では学習の回数そのものを制約します。論文が「最適化されていない」と断っている以上、この数字は将来下がる可能性が高いものの、現時点で導入を検討するなら見込んでおくべき負荷です。

総じて、この研究は「小型モデルでいけるかもしれない」という期待をやや強める材料であり、同時に「なんでもチューニングすれば伸びる」という誤解を潰す材料でもあります。後者の役割のほうが、中小企業の現場では価値が大きいと考えています。

まとめ

  • 2026年7月16日公開の研究は、教師モデルとその土台モデルの差分だけを学ばせる手法で、Qwen3-4B（非thinkingモード）の数学7ベンチマーク平均を 45.8 → 70.3（+24.5ポイント）に改善した（学習データは10万問の混合データセットから1回あたり3万サンプル未満、100ステップ程度）
  • 効果は対象モデルの出発点に強く依存する。すでに推論が強い thinkingモードでは Qwen3-4B が+1.5、Qwen3-8B が+2.2ポイントに留まった
  • 副作用もある。Gemma4-E4B-it ではコーディング性能が 55.2 → 49.5（-5.7ポイント）と低下しており、全能力を保てるわけではないと論文が明記している
  • 計算コストは従来手法比で Qwen3系+24〜28%、Gemma4-E4B+8%。論文は実装が未最適化で削減余地があるとしている。評価は数学・科学・コードに限られ、業務文書処理や日本語タスクの検証はない
  • 中小企業にとっての実務的な結論は「自社チューニングに投資する前に、今のモデルがどのくらい弱いかを自社データで測る」こと。TOEでは本手法を未実施であり、上記は論文の実測値にもとづく読み筋である