結論から書きます。AIに任せられる仕事の長さは、「賢いかどうか」ではなく「人間なら何分かかる仕事か」で測れます。METRの測定では、人間が4分未満で終わる作業は現行モデルがほぼ100%こなす一方、人間が約4時間超かかる一続きの仕事は10%未満しか完遂できませんでした。

「時間地平」という測り方は何を数えているのか

METR（Model Evaluation & Threat Research）が公開した「Measuring AI Ability to Complete Long Tasks」は、AIの能力をテストの点数ではなく「人間なら何分かかる仕事まで最後までやり切れるか」で測った報告です。同じタスクを専門知識を持つ人間に解かせて所要時間を計り、AIの成功確率が50%になる地点の人間所要時間を「時間地平（time horizon）」と呼びます。

ここで一番誤解されやすいのが分母です。50%というのはAIモデルの成功確率であって、人間側の作業成功率ではありません。「時間地平が1時間」は「1時間ぶんの仕事を確実にこなす」ではなく「1時間ぶんの仕事をコイン投げ程度の確率で完遂する」という意味です。

（出典：METR（研究非営利団体）。寄稿者24名、主著者に Thomas Kwa、Ben West、Joel Becker、2025-03-19、https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/）

先にはっきりさせておきます。この記事が扱う測定はMETR自身による発表であり、同社は本測定に使われたタスクスイート（HCAST、RE-Bench等）の作成者兼提供者です。 さらにMETRはAI能力評価そのものを事業とする組織です。指標を設計した組織が、その指標で自らモデルを測り、その指標の妥当性も自ら説明している構図になります。数字が誤りだという意味ではありませんが、第三者による独立した追試ではないことは読む側で織り込む必要があります。

一次資料の実測：どの長さで何%こなせたのか

本文が示している実測と条件を整理します。すべて同一スイート・同一モデル群での比較です。

測定項目 数値 条件・対象範囲
人間が4分未満で終えるタスクの成功率 ほぼ100% 現行モデル。同一スイート・同一モデル群
人間が約4時間超かかるタスクの成功率 10%未満 現行モデル。上記4分未満と同一スイート・同一モデル群
成功率50%の時間地平の倍化期間 約7か月 過去6年間の傾向。分母はAIモデルの成功確率50%
Claude 3.7 Sonnet の時間地平 約1時間 当時最高性能のモデルとして。成功率50%基準
SWE-Bench Verified 部分集合での倍化期間 3か月未満 METRが独自計測した人間所要時間で採点し直した場合
指数トレンドの倍化速度の幅 年1〜4倍化 本文が示す近似レンジ。部分集合ごとにノイズは大きい

タスクの範囲は、HCAST・RE-Bench・短時間ソフトウェアタスクを組み合わせたMETRの自作スイートです。対象期間は、公開日が2025-03-19であるにもかかわらず、本文の記載は2025年11月までを含む内容になっています。ページが公開後に更新されているため、引用する際は取得時点を明記する必要があります。

そして重要な点として、ブログ本文には総タスク数・評価モデル数・n数の記載がありません。 外部妥当性の詳細な議論は arXiv 論文を参照するよう誘導されており、ブログ単体では検証しきれない構造になっています。

読者への意味：導入判断の物差しが「賢さ」から「長さ」に変わる

中小企業の経営者・情報システム担当にとって、この測定の実用的な価値は「AIが優秀かどうか」という不毛な議論を終わらせられることにあります。判断軸はこう置き換えられます。

  • 導入検討の問いを「このAIは賢いか」から「この業務は何分ぶんの工程に切り出せるか」に変える
  • 人間が数分で終える単位まで分解できた工程は、現時点でも高い確率で任せられる
  • 半日がかりの一続きの業務を丸ごと投げる設計は、現時点では10%未満しか完遂されない前提で見積もる
  • 工程の切れ目ごとに人が受け取って検査する導線を、最初から業務フローに組み込む
  • 「今できないから見送る」判断は、倍化期間が約7か月である以上、短期間で陳腐化しうると認識する

つまり現時点の妥当な実務設計は、長い業務を数分〜1時間単位の工程に分解し、人が受け取り検査する形です。丸投げ前提の投資は外れます。一方で、成功率50%の時間地平が約7か月ごとに倍増している以上、「今できない」を理由に検討そのものを止めると、判断が陳腐化するのも早いということになります。

この2つは矛盾しません。今日の設計は分解前提で組み、設計の見直し周期を半年程度で回す、というのが数字から素直に導ける結論です。

この測定が答えていないこと

不都合な点を先に並べます。ここを飛ばして数字だけ持ち帰ると判断を誤ります。

第一に、対象タスクは自動採点が可能なソフトウェア系・自己完結型のタスクに限定されています。中小企業の一般的な業務、つまり要件が曖昧で、対人調整が入り、現場作業を含むものへの代表性は本文で示されていません。経理処理や顧客対応にこの数字をそのまま外挿することはできません。

第二に、本文自身が「推定値は使用タスクなどの方法論的選択に依存する」「実質的なモデル誤差の可能性が残る」と認めています。部分集合（短時間タスク／HCAST／RE-Bench）ごとの検証では同様の傾向が出るものの、「よりノイズが大きい」と明記されています。SWE-Bench Verified の部分集合で倍化期間が3か月未満と出たことも、部分集合の取り方で結果が動く証拠と読むべきです。

第三に、将来予測の扱いです。本文の予測は「2024年以前の傾向より最近の傾向のほうが予測的か」という仮定に敏感で、グラフには「将来のトレンド変化や外部妥当性の懸念を考慮していない」と注記されています。年1〜4倍化という幅の広さ自体が、外挿の危うさを表しています。

同じMETRの別の測定では、ベンチマーク上の合格と実際にマージ可能なプルリクエストの間に差があることや、経験豊富な開発者がAIを使って逆に遅くなった結果が報告されています。ベンチマークの数字と現場の生産性は同じものではありません（ベンチマーク合格と実務品質の差、経験豊富な開発者がAIで遅くなった実験）。

TOEの読み筋：分解の粒度を先に決める

ここからは株式会社TOEの解釈です。この測定手法をTOEの社内業務に適用した検証は未実施です。 以下は数字からの読み筋であり、TOEでの実測値ではありません。

私たちが実務で有効だと考えるのは、AI導入の要件定義の冒頭に「この業務を人間がやったら何分か」を工程ごとに書く欄を作ることです。合計時間ではなく、分割できる最小単位ごとの分数を書きます。ここで4分前後まで割れる工程が並ぶなら、その業務はいまのAIで着手できる可能性が高い。逆に、どう割っても1つの塊が数時間になる業務は、割り方の設計自体が先の課題になります。

もう一つの読み筋は、検査コストの置き場所です。成功率50%という水準は、裏を返せば半分は失敗するということです。失敗を人が見つけるコストが、AIが節約した時間を上回れば導入は赤字になります。工程を短く切ることは、成功率を上げるだけでなく、失敗を早く安く発見するための設計でもあります。

なお、この2025年3月の測定にはその後の更新版があり、より新しいモデルとタスクスイートでの数値が公開されています（METRの最新版時間地平測定）。手法の考え方は本記事の通りですが、具体的な分数を引用する場合は新しい版を参照してください。

まとめ

  • METRの測定では、現行モデルは人間が4分未満で終える作業をほぼ100%こなす一方、人間が約4時間超かかる一続きの仕事は10%未満しか完遂できない（同一スイート・同一モデル群での比較）
  • 成功率50%の時間地平は過去6年間で約7か月ごとに倍化しており、Claude 3.7 Sonnet は当時最高性能のモデルとして約1時間だった。50%はAIの成功確率であって人間の作業成功率ではない
  • この記事が扱う測定はMETR自身による発表であり、同社はAI能力評価を事業とし、使用スイート（HCAST・RE-Bench等）の作成者兼提供者でもある
  • 対象は自動採点可能なソフトウェア系タスクに限られ、曖昧な要件・対人調整・現場作業を含む一般業務への代表性は示されていない。ブログ本文には総タスク数・評価モデル数・n数の記載がない
  • 実務上の使い方は、長い業務を数分〜1時間単位に分解し人が受け取り検査する設計にすること。倍化が約7か月である以上、見送り判断も半年程度で見直す。TOEでは本手法の社内検証は未実施