結論から書きます。AIエージェントに毎回手順を推論させるより、よく使う操作を1コマンドにまとめて渡すほうが、失敗率もトークン代も下がります。同一18タスクの実測で成功率は84%から94%へ、トークン消費は最大6.0倍の差がつきました。ただし単発の読み取り作業では逆に不利になります。
何が測られたのか（一次資料の実測）
Hugging Faceが公開した記事「Designing the hf CLI as an agent-optimized way to work with the Hub」に、AIコーディングエージェントの作業効率を比較した実測が載っています。条件は、同社のHub（モデルやデータを置く場所）に対する18種類のタスクを用意し、それぞれ10回ずつ反復、合計で約1,000回の採点実行を回す、というものです。
比較しているのは2つのやり方です。ひとつは同社が用意した専用コマンド hf（CLI）をエージェントに使わせる方法。もうひとつは、専用コマンドを使わず、curl でAPIを直接叩くか Python SDK を書かせる汎用的な方法です。
| 比較項目 | 専用CLI利用時 | curl／Python SDK利用時 |
|---|---|---|
| 成功率（Claude Code / Sonnet 4.6） | 94%（自己申告エラー 163件中2件） | 84%（163件中11件エラー） |
| 成功率（Codex / GPT-5.5） | 93%（163件中3件エラー） | 92%（163件中10件エラー） |
| トークン消費（Claude Code、CLIを1としたとき） | 1 | 1.3〜1.6倍 |
| トークン消費（Codex、CLIを1としたとき） | 1 | 1.6〜1.8倍 |
| 条件 | 18タスク×各10反復／計約1,000回の採点実行 | 同一ベンチマーク |
注目すべきは、エージェントによって差の出方がまるで違う点です。Claude Code では成功率が84%から94%へ10ポイント動いたのに対し、Codex では92%から93%と1ポイントしか動いていません。エラー件数で見ると Codex は10件から3件へ減っており、成功率という指標だけを見ると差が小さく見える、という読み方もできます。いずれにせよ「どのエージェントでも同じ効果が出る」とは言えない結果です。
トークン消費の差はタスクによって大きく振れています。最も差が大きかったのは、バケットを作って同期して不要ファイルを削除する（prune）という複数手順をまたぐタスクで、curl/SDK 側は専用CLI側の6.0倍のトークンを消費しました。反対に、単発の読み取りタスクでは0.5〜0.3倍、つまり専用CLIのほうが多くのトークンを使っています。
もうひとつ、別の切り口の実測があります。エージェントに「スキル」と呼ぶ手順書を与えた場合、1回あたりのツール呼び出し回数が Claude Code で10.4回から6.9回、Codex で10.1回から7.3回へ、いずれも約30%減りました。モデルを変えたわけでもコマンドを増やしたわけでもなく、やり方を文章で書いて渡しただけです。
なお同社は、Hubへのコーディングエージェント経由アクセスを2026年4月以降集計しており、区別できた8エージェントのうち上位2つは Claude Code が39,500ユーザー／4,860万リクエスト、Codex が34,800ユーザー／3,640万リクエストでした。今回の検証対象は、この8エージェントのうち上位2つに絞られています。
（出典：Hugging Face（本文の記載: julien-c、clem、lhoestq、yjernite、victor、sayakpaul、Célina Hanouti、Lucain Pouget ほか）、2026-06-04、https://huggingface.co/blog/hf-cli-for-agents）
この数字は誰が測ったのか
先に立場を書いておきます。この記事は Hugging Face 自身による発表であり、同社は当該製品である hf CLI の提供者です。 ベンチマークの設計もタスクの選定も採点も、優位性を示したい側が自ら行っています。
これは数字を捨てろという意味ではありません。むしろ同社は、単発の読み取りタスクでは curl/SDK のほうがトークン効率が同等または良好であり、専用CLIが常に有利ではないと自ら書いています。不都合な結果を伏せずに出している点は、発表としては誠実な部類です。
そのうえで、読む側が把握しておくべき限界は次のとおりです。
- ベンチマークの18タスクは同社が選んでおり、自社製品が得意な操作に寄っていないかを外部から検証する手段がない
- スキル（手順書）の評価は、タスクごとに新規セッションで実施されている。セッションを継続した場合に手順が定着して呼び出し回数がさらに減るのか、それとも文脈が膨らんでトークンが増えるのかは測定されていない
- 検証対象は追跡している8エージェントのうち Claude Code と Codex の2つのみで、他のエージェントに同じ傾向が出る保証はない
- 課金が発生する Jobs 系タスクの1件は実行回数に上限を設けたため、他タスクに比べてサンプル数が小さい
- エージェントの出力は非決定的なため、10反復の平均で評価している。個別の実行ごとのばらつきは残っており、1回試して同じ結果が出るとは限らない
数字を見るときは、この5点を先に置いてから読んでください。
読者への意味：うちの会社に関係あるのか
関係あります。ただし「hf CLI を導入せよ」という話ではありません。中小企業の実務で意味を持つのは、その下にある設計原則のほうです。
社内でAIエージェントに業務を任せようとすると、多くの場合こうなります。「請求データを取り出して、この形式に整えて、フォルダに置いて」と自然文で頼み、エージェントが毎回その手順を推論して組み立てる。これが汎用的なAPI直叩きに相当します。
対して、その一連の流れを1つのコマンド（あるいは1本の定型手順）にまとめて渡しておくのが専用CLIに相当します。今回の実測が示しているのは、手順が複数にまたがるほど、まとめて渡したほうが失敗も費用も減るということです。
投資判断に直結するのは、効果が出る作業と出ない作業の線引きが数字で示されている点です。
- 複数手順をまたぐワークフロー（作成→同期→整理のような一連の流れ）：トークン差は最大6.0倍。作り込む価値が最も大きい
- 単発の読み取り（一覧を取ってくるだけ、メタデータを見るだけ）：0.5〜0.3倍と専用化が不利。わざわざコマンドを作る必要はない
- 全タスク平均：1.3〜1.8倍。エージェントによって幅がある
つまり「社内のAI活用を効率化する」という漠然とした投資ではなく、手順が3つ以上つながる定型作業から順に1コマンド化していくという優先順位がつけられます。1回の呼び出しで終わる作業を無理にツール化しても回収できません。
そしてもうひとつ。ツール呼び出し回数が約30%減った要因は、モデルでもコマンドでもなく「手順書を渡したこと」でした。AI導入を検討するとき、最初に時間を使うべきはモデルの選定ではなく、社内で誰かが暗黙にやっている手順を文章に落とすことだ、という示唆です。この論点は中小企業がAIを導入する最初の一歩でも触れています。
TOEの読み筋
先に明記します。TOEでは、この hf CLI を使った検証も、同等のベンチマークの再現も未実施です。 以下は実測ではなく、公開された数字から読み取れる筋の話です。
TOEが社内で運用しているのは、cron で走る定型ジョブ群と、そこから呼び出すAI処理です。今回の実測を自社に当てはめて考えると、示唆は2つあります。
第一に、トークン代の削減より失敗率の低下のほうが効く可能性がある点です。Claude Code の成功率は84%から94%へ動いています。裏を返せば、汎用的なやり方では6回に1回近く失敗していたことになります。中小企業の実務で問題になるのは、月数千円のトークン代よりも、失敗した処理を人が見つけて手で直す時間のほうです。トークン差1.3〜1.6倍というコスト面の数字だけを見て「大した額じゃない」と判断すると、本当の便益を見落とします。
第二に、手順書の整備は費用対効果が読みやすい点です。約30%のツール呼び出し削減が、文章を書くという作業だけで得られています。コマンドを新規に開発するのは工数がかかりますが、既にある業務手順を言語化するのは、多くの会社で今日から着手できます。順番としては、手順書の整備が先、コマンド化はその後です。
ただし、この読み筋には検証していない前提が乗っています。今回のベンチマークは Hugging Face Hub という特定の対象への操作であり、社内の基幹システムや会計ソフトを相手にしたときに同じ傾向が出るかは、誰も測っていません。導入するなら、自社の代表的な作業を3〜5本選び、まとめる前とまとめた後で実際の失敗回数と請求額を比べるべきです。この比較のやり方は自社で評価基準を作るとAI導入のコスト構造で扱っています。
まとめ
- Hugging Faceの実測（18タスク×各10反復、計約1,000回）で、専用CLI利用時の成功率は94%（163件中2件エラー）、curl/SDK利用時は84%（163件中11件エラー）だった
- ただしエージェント差は大きく、Codex では93%（3件エラー）対92%（10件エラー）と成功率の差はほぼ出ていない
- トークン消費は複数手順をまたぐタスクで最大6.0倍の差がつく一方、単発の読み取りでは0.5〜0.3倍と専用化が不利になる。作り込む対象を選ぶ必要がある
- 手順書（スキル）を渡すだけでツール呼び出し回数が約30%減った（Claude Code 10.4→6.9、Codex 10.1→7.3）。モデル選定より手順の言語化が先という示唆になる
- この記事はHugging Face自身による発表であり、同社は hf CLI の提供者。ベンチマーク設計も自社実施で、新規セッション前提のため継続時の効果は未測定、対象も8エージェント中2つのみという限界がある
- TOEでは同等の検証は未実施。導入するなら自社の代表作業3〜5本で、まとめる前後の失敗回数と請求額を実測して判断するのが筋