GitHubのPR・課題の仕分けのような定型判断は、手元のローカルAIで実用水準に届くのか。Hugging Face公式ブログの検証では、小型モデルGemmaが330行の評価セットでF1 0.800、1件あたり1.41秒、全体約7.5分で処理しました。巨大モデルはF1 0.811とほぼ同等ですが1件144秒で、実務には向かないという結果です。
この記事が扱う一次資料と、その利害関係
題材は、オープンソースのAIアシスタント「OpenClaw」のリポジトリに集まるIssue・Pull Requestを、ローカルで動かすオープンウェイトモデルに仕分け（トリアージ）させた検証レポートです（出典：Hugging Face 公式ブログ。著者は Onur Solmaz、ben burtenshaw、shaun smith。対象リポジトリは OpenClaw（オープンソースのAIアシスタント）、2026-06-22、https://huggingface.co/blog/local-models-pr-triage）。
最初に、数字の出どころを判断するための前提を書きます。この記事は Hugging Face 社自身による発表であり、同社は当該製品の提供者であるという点です。Hugging Faceはオープンウェイトモデルを配布するプラットフォーム事業者であり、「ローカルの無料モデルで足りる」という結論は、自社の事業領域を利する立場からの発信にあたります。検証に使われたモデルも、実行に使われたハードウェア（NVIDIA GB10）も特定ベンダーのものです。
だからこの検証に価値がない、という話ではありません。むしろ、実測値と失敗した過程まで開示している点は評価に値します。ただし読者としては、「第三者による中立評価ではない」という札を貼ったうえで数字を読む必要がある、ということです。
なお、著者自身も「無料」という看板の限界を認めています。評価の正解ラベルを作る工程と検証にGPT-5.5（有償のクラウドAI）を使っており、これは「無料という点を打ち消す」が、研究目的なので許容したと本文に明記されています。
実測値：小型モデルと巨大モデルは何が違ったのか
評価データセットは330行です。GitHubのIssueとPRを対象に、各項目に5回ラベル付け（GPT-5.5で3回、Opus 4.8で2回）を行い、さらに人手による調整を経て作成されています。
以下が主要な実測値です。GemmaとQwenは330行を3回実行した平均±標準偏差、DeepSeek-V4-Flashは参照用に1回だけ実行した値です。
| モデル | 規模 | F1スコア | 1件あたり処理時間 | 並列度 |
|---|---|---|---|---|
| Gemma（gemma-4-26b-a4b） | 26B・アクティブ4B | 0.800 ± 0.008 | 1.41 ± 0.04秒 | 16 |
| Qwen（qwen3.6-35b-a3b） | 35B・アクティブ3B | 0.824 ± 0.002 | 13.51 ± 0.79秒 | 4 |
| DeepSeek-V4-Flash | 284B・アクティブ13B | 0.811（1回実行） | 144.14秒（1回実行） | 1 |
実行環境はいずれもNVIDIA GB10（DGX Spark、統合メモリ128GB）です。GemmaのF1 0.800は、NVFP4量子化やプレフィックスキャッシュなどの最適化を適用した条件下での値です。
処理量の側も見ておきます。
- Gemmaは330行全体を約7.5分で処理し終えています（NVIDIA GB10、並列度16）
- Gemmaの合計出力スループットは402.6トークン/秒（並列度16、ワーカー1つあたり25トークン/秒）。別途、並列度32のテストでは700トークン/秒を超えたとされています
- DeepSeek-V4-Flashは並列度1、出力13〜14トークン/秒にとどまり、著者はNVIDIA GB10上でのリアルタイム処理には非現実的だと結論づけています
つまり、パラメータ数で言えば10倍以上あるDeepSeek-V4-FlashのF1（0.811）は、Gemma（0.800）とほぼ同じ水準です。にもかかわらず1件あたりの処理時間は約102倍かかっています。「大きいモデルほど良い」という直感が、この業務では成立していません。
精度の「質」が違う：誤検知型と見落とし型
F1スコアだけを並べると3モデルは近く見えますが、間違え方の中身はまったく違います。330行に対する偽陽性（誤検知＝余計なラベルを付けた件数）と偽陰性（見落とし＝付けるべきラベルを付けなかった件数）は次のとおりです。
| モデル | 誤検知（偽陽性） | 見落とし（偽陰性） | 実行回数 |
|---|---|---|---|
| Gemma | 227.0 ± 10.5件 | 60.0 ± 2.6件 | 3回 |
| Qwen | 105.7 ± 6.4件 | 115.3 ± 4.0件 | 3回 |
| DeepSeek-V4-Flash | 30件 | 181件 | 1回 |
Gemmaは見落としが60.0件と最も少ない代わりに、誤検知が227.0件と突出しています。取りこぼしは少ないが、余計なラベルを大量に付けるタイプです。逆にDeepSeek-V4-Flashは誤検知30件で適合率0.938と高い一方、見落としが181件、再現率0.714と低く、拾うべきものを取りこぼすタイプでした。Qwenはその中間で、誤検知105.7件・見落とし115.3件とバランス型です。
この差は、業務要件に直接効きます。
- 取りこぼしが致命的な業務（クレームの一次検知、不具合報告の見落とし防止など）は、Gemma型の「拾いすぎるが漏らさない」挙動が向きます。ただし後段で人が余計な分を落とす工数が要ります
- 誤爆が致命的な業務（顧客への自動通知、承認フローの起動など）は、DeepSeek型の「慎重だが漏らす」挙動が向きます。ただし漏れを別の手段で拾う設計が要ります
- どちらとも言えない場合は、Qwen型のバランス寄りを起点に、閾値やプロンプトで寄せていく判断になります
評価軸をF1一本にすると、この違いが消えます。指標の立て方については自社の評価基準をどう作るかも併せてご覧ください。
検証コストは月約9ドル：導入判断の前段は安い
もう一つ実務的な数字があります。検証用に使ったGPT-5.5の利用コストは、1回あたり2〜3セント、月約9ドルです。条件は、2時間ごとのチェック1回あたり約4万トークン（大半はキャッシュ済みコンテキスト）、1日12回実行換算です。
ここから読める意味は明快です。「AIを入れるべきかどうか」を判断するための検証そのものは、月1000円台の世界だということです。本番運用のコストと、検証のコストは別勘定で考えられます。いきなり全社導入の可否を議論する前に、自社の実データ数百件で当てさせてみる、という段取りが金額的には十分現実的です。
コスト構造そのものの整理はAIのコスト構造をどう見るかに、ローカルで動かす場合の前提はローカルLLMは実務で使えるのかにまとめています。
この検証の限界：書かれていることをそのまま受け取らない
不都合な点も、著者自身がレポート内に書いています。読者としてはここを外せません。
- 最初に試したモデル（gemma-4-e4b-it）は実用にならなかった。パイプラインの疎通確認には役立ったものの、無関係なラベルを付けすぎる傾向があり「ノイズが多かった」と認めています。つまり、一発で当たったわけではありません
- 掲載された性能数値は「その時点で使った設定」であり、各モデルの最大性能を確定的に示すものではないと本文で明言されています
- DeepSeek-V4-Flashは実行ごとにラベル付けが安定しなかった（一貫性の欠如）と記載されています
- DeepSeek-V4-Flashのみ1回実行の参照値で、3回実行のGemma・Qwenとは検証の厳密さが揃っていません。表を横並びで見るときは、この非対称に注意が必要です
- 正解ラベル自体がGPT-5.5とOpus 4.8による5回のラベル付けに人手調整を加えたものであり、完全な人手作成の正解データではありません
「ローカルの小型モデルで足りた」という見出しの結論は、これらの条件付きで読むべきものです。
TOEの読み筋：どこから当てはめられるか
ここから先はTOEの解釈です。この検証と同じ再現実験は、TOEでは未実施です。 以下は自社での実測に基づく主張ではなく、公開された数値からの読み筋として書きます。
第一に、この検証が示した意思決定の型は、中小企業の業務にそのまま移せる形をしています。「必要な精度」と「1日に何件流れるか」の2軸でモデルを選ぶ、という型です。1日300件規模の仕分けなら、Gemma相当の速度（1件1.41秒）で数分、DeepSeek相当（1件144秒）なら12時間かかる計算になります。精度がほぼ同じなら、選択は自動的に決まります。
第二に、間違え方の非対称を先に決めておくことです。導入前に「うちは誤爆と取りこぼしのどちらを嫌うか」を一言で決めておけば、モデル比較の議論が短くなります。逆にこれを決めずにF1だけを見比べると、現場に出した後で「思っていたのと違う」が起きます。
第三に、検証コストの安さを使い切ることです。月約9ドルという水準は、稟議を通す前に自社データで試すことを許す金額です。ベンダー提示のデモではなく、自社の実データ数百件でF1と誤検知・見落としの内訳を出す。この一手間が、後の判断の質を大きく変えると考えています。
第四に、留保です。この検証はGitHubのIssue・PRという、テキストが構造化され、判断基準が比較的明文化しやすい対象に対するものです。日本語の社内文書、業界固有の略語、暗黙の運用ルールが絡む仕分けで同じ数字が出る保証はありません。適用可能性の判断は、自社データでの実測を経てからになります。
まとめ
- Hugging Face公式ブログの検証で、ローカルの小型モデルGemmaが330行の評価セットをF1 0.800 ± 0.008、1件あたり1.41 ± 0.04秒、全体約7.5分で処理した（NVIDIA GB10、並列度16、3回実行）
- 284BのDeepSeek-V4-FlashはF1 0.811とほぼ同等ながら1件144.14秒（並列度1、1回実行）で、著者自身がリアルタイム処理には非現実的と結論づけている
- F1が近くても間違え方は異なる。Gemmaは誤検知227.0件・見落とし60.0件、DeepSeekは誤検知30件・見落とし181件。自社が誤爆と取りこぼしのどちらを嫌うかで選択が変わる
- 検証用クラウドAIのコストは1回2〜3セント、月約9ドル。導入可否を自社データで確かめる工程自体は安価に組める
- ただしこの記事はHugging Face社自身による発表であり、同社は当該製品の提供者である。初期モデルの失敗、DeepSeekの一貫性の欠如、掲載値が最大性能ではない旨も本文に明記されている。TOEでは同等の再現実験を未実施であり、適用判断は自社データでの実測を経る必要がある