結論から書きます。DPO（人の好みを直接学ばせる追加学習）を、チャットではなくOCRに適用した検証で、文字化けや無限ループといった出力崩れの発生率が平均59.4%、最良ケースで87.6%減りました。ただしこれは当該OCR製品の提供者自身による発表で、効果には3つの適用条件がつきます。

一次資料の実測：OCRで出力崩れはどれだけ減ったのか

Hugging Faceブログに掲載されたDharma-AIチームの寄稿「Direct Preference Optimization Beyond Chatbots」に、DPOをOCRモデルに適用した実測が載っています。

DPOは本来、チャットボットの回答を人間の好みに合わせるために使われてきた手法です。「AとBならAの方が良い」という選好ペアを大量に学習させ、モデルの出力傾向を望ましい方向へ寄せます。この寄稿が扱っているのは、その手法を対話ではなく文書読み取り（OCR）に持ち込んだらどうなるか、という話です。

対象となる失敗は「degeneration（出力の劣化）」と呼ばれるもので、具体的には文字化けや同じ語句を延々と繰り返す無限ループなど、読み取り結果が壊れる現象を指します。

測定項目 数値 条件
学習に使った文書数 23,726件 DharmaOCRパイプラインでの選好ペア生成に使用。文書の種類・言語の内訳は記載なし
劣化率の平均削減幅 59.4% SFTのみ 対 SFT+DPO の比較。5つのモデルファミリー横断の平均
最良ケースの削減幅 87.6%（1.61%→0.20%） Nanonets-OCR2-3B、SFTのみ→SFT+DPO
削減幅のレンジ 37.3%〜87.6% 検証した5モデルファミリー全体
素のモデルで最も高かった劣化率 33.96% gemma-3-4b-it のベースライン（追加学習なし）

注目すべきはベースラインの33.96%です。gemma-3-4b-it を追加学習なしでOCRに使った場合、およそ3件に1件で出力が壊れていたことになります。汎用モデルをそのまま業務に投入した状態が、どういう水準かを示す数字です。

（出典：Dharma-AI（Hugging Faceブログ上のDharma-AIチームによる寄稿。執筆者としてGabriel Pimenta de Freitas Cardoso、Erick Lachmann、Francisco de Almeida Rocha Alves ほかが記載）、2026-06-03、https://huggingface.co/blog/Dharma-AI/direct-preference-optimization-beyond-chatbots）

この記事は誰が書いたのか（利害関係の明示）

数字を読む前に、前提を明記します。この記事はDharma-AI社自身による発表であり、同社は本文で取り上げているOCRモデル DharmaOCR の提供者です。

つまり「自社のOCRパイプラインでDPOを回したら壊れが大幅に減った」という結論は、そのまま自社製品の有効性を示す主張になります。発信元に利害があるという意味です。数字が作り物だと言いたいのではなく、比較対象の選び方や、うまくいかなかったケースの扱いに、提供者側の関心が反映されうるという話です。

実際、寄稿自身が限界をいくつも明示しており、その点では誠実な部類に入ります。読む側としては「誰が測ったか」を把握したうえで、自社の条件で確かめられるかを考えればよい話です。同じ構造はLoRA以外の追加学習手法は検討する価値があるのかでも扱いました。

効果には3つの条件がつく

寄稿は、この手法が効いた理由として3つの構造的条件を挙げています。ここが実務では一番重要です。

  • 失敗モードが特定できること。「文字化け」「無限ループ」のように、何が壊れなのかを機械的に定義できる必要がある
  • 信頼できる自動採点ができること。出力の良し悪しを人手を介さず判定できなければ、選好ペアを大量に作れない
  • 十分な出力量があること。23,726件規模の学習データを揃えられるだけの業務量が要る

逆に言えば、この3つのどれかが欠ける業務では同じ結果は期待できません。「良い回答かどうかは読んでみないと分からない」「月に数十件しか処理しない」といった業務は対象外です。

SFTで一度悪化した例外事例

不都合な結果も本文に載っています。Qwen2.5-VL-3B では、劣化率が 0.60%→3.23%→1.41% と推移しました。素の状態が0.60%、SFT（教師あり追加学習）をかけたら3.23%へ悪化し、そこにDPOを足して1.41%まで戻した、という経過です。

最終的にSFT単独よりは改善していますが、素の状態の0.60%は下回っていません。追加学習をしたことで、かえって壊れやすくなったケースが存在するということです。

寄稿自身、この異常挙動は単一事例にとどまり、一般的なメカニズムの説明には不十分だと認めています。また分析は相関に基づくもので、因果関係は立証できていないとも明記しています。

そして検証は5つのOCRモデルファミリーに限定されており、他の領域・失敗モード・モデルファミリーに転用できる保証はないと本文が述べています。「OCRで効いたのだから議事録要約でも効く」とは読めません。

読者への意味：中小企業にとって何が変わるのか

中小企業の実務に引き付けると、意味は2つあります。

ひとつは、請求書・納品書・検収書のOCRのように「正解が機械的に判定できる」業務であれば、汎用モデルをそのまま使うより、自社データで追加学習した方が致命的な出力崩れを大きく減らせる可能性がある、ということです。33.96%という素のモデルの劣化率は、そのまま業務に載せるには厳しい水準です。

もうひとつ、そしてこちらの方が多くの会社にとって使い道があると考えていますが、この3条件は「AI導入の前に、自社業務が自動採点できる型かを見極める」チェック観点として流用できます。

  • 失敗を定義できるか。「間違い」と「正しい」を人によらず線引きできるか
  • 自動で採点できるか。既存の基幹システムや台帳と突き合わせて機械判定できるか
  • 量があるか。学習に足るだけの処理件数が毎月出ているか

この3つが揃う業務は、追加学習に限らず、そもそもAI化の投資対効果が読みやすい領域です。揃わない業務にいきなり手を出すと、効果測定ができないまま費用だけ出ていきます。評価基準を先に決める話はAIの良し悪しを自社で判定する基準の作り方にまとめています。

TOEの読み筋

先に書いておくと、TOEではDPOによるOCRモデルの追加学習は未実施です。ここから先は実測ではなく読み筋です。

その前提で言うと、中小企業がいきなりSFT＋DPOのパイプラインを組むのは現実的でないと見ています。23,726件規模の学習文書を用意でき、かつ自動採点の仕組みを持っている会社は多くありません。

むしろ実務的な順番はこうだと考えています。まず自社業務が3条件を満たすかを確認する。満たすなら、追加学習の前に「自動採点の仕組み」だけを先に作る。採点ができれば、既製モデルを何種類か比べるだけでも選定の精度が上がりますし、その採点ログがそのまま将来の学習データになります。追加学習は、その後の選択肢です。

また、素のモデルで33.96%という数字は、モデル選定の重要性も示しています。同じOCRタスクでもモデルファミリーによってベースラインが大きく違うということで、追加学習の前にまず素の状態での比較が要ります。

一次資料が示しているのは「DPOはOCRでも効いた」という事実そのものより、「効く条件は限定的で、それを先に確認せよ」という話だと読んでいます。

まとめ

  • OCRにDPOを適用した検証で、出力劣化率が平均59.4%削減、最良ケースで87.6%（1.61%→0.20%、Nanonets-OCR2-3B）削減された。学習文書は23,726件
  • この記事はDharma-AI社自身による発表であり、同社は取り上げているOCRモデル DharmaOCR の提供者である
  • 効果には3条件（失敗モードが特定できる／信頼できる自動採点ができる／十分な出力量がある）が必要と本文が明記している
  • Qwen2.5-VL-3B では 0.60%→3.23%→1.41% と、SFTで一度悪化した例外がある。単一事例で説明は不十分、分析は相関であり因果は未立証と本文が認めている
  • 中小企業にとっては「自社業務が自動採点できる型か」を見極めるチェック観点として使える。TOEではDPOによる追加学習は未実施であり、まず自動採点の仕組みから作る順番を推している