AIクローラーは何のために来て、どれだけ人を返すのか。Cloudflareの実測では、2025年7月のAIボットのクロールのうち約80%が学習目的で、ユーザー操作と未申告の合計は5%未満。8月第1週のクロール対参照比はAnthropic約50,000:1、OpenAI 887:1、Perplexity 118:1だった。読ませる量と返る量は、事業者ごとにも業種ごとにも桁が違う。

何が測られたのか（対象・期間・条件）

Cloudflareが、自社ネットワークを通過するAIボットのトラフィックを「目的別」と「業種別」に分解した分析を公表した（出典：Cloudflare Blog（Cloudflare社）、2025-08-28、https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/）。

先に利害関係を明示する。この記事はCloudflare社自身による発表であり、同社はAIボットの検知・制御・管理を行う当該製品の提供者である。AIクローラーが大量に取っていく一方で送客が返らない、というデータは、そのままボット制御サービスの需要につながる立場にある。数字を疑えという意味ではないが、どの角度が強調されているかは、この立場を外して読むべきではない。

数値ごとに期間も母数も違うので、先に対象範囲を整理する。

指標 値 対象・期間・条件
クロールのうち学習（training）目的の割合 約80%（本文表現は nearly 80%） 2025年7月1〜28日。Cloudflareの顧客基盤全体で観測されたAIボットトラフィックが母数。目的分類はCloudflareがオペレーターの公表情報と業界情報に基づき付与
ユーザー操作（user action）と未申告（undeclared）の合計 5%未満（less than 5%） 2025年7月1〜28日、同上。分母はAIボットトラフィック全体であり、AI経由の訪問者数ではない
ユーザー操作カテゴリに占めるChatGPT-Userの割合 約4分の3（nearly three quarters） 2025年7月。分母はユーザー操作カテゴリのリクエストのみで、AIボットトラフィック全体ではない
Anthropic（ClaudeBot）のクロール対参照比 約50,000:1（nearly 50,000:1） 2025年8月1〜7日、業種フィルタなしの全顧客。HTMLページへのクロール要求数と、当該事業者から参照されたHTMLページ要求数の比
OpenAI（GPTBot）のクロール対参照比 887:1 2025年8月1〜7日、業種フィルタなしの全顧客。算出方法は同上
Perplexityのクロール対参照比 118:1 2025年8月1〜7日、業種フィルタなしの全顧客。算出方法は同上
ニュース・出版業種のクロール対参照比 Anthropic 2,500:1／OpenAI 152:1／Perplexity 32.7:1 2025年8月1〜7日。分母・分子はニュース・出版（News & Publications）業種の顧客サイトのみ。全業種の値とは別集計
コンピュータ・電子機器業種のクロール対参照比 Anthropic 8,800:1／OpenAI 401.7:1／Perplexity 88:1 2025年8月1〜7日。コンピュータ・電子機器（Computer & Electronics）業種の顧客サイトのみ

ここで一番効くのは、目的別が4週間、業種別比率がわずか1週間という期間の短さである。とくに業種別の値は単週の実測であり、季節性も一時的な変動も排除できていない。

クロールの約80%が学習目的、という構図

Cloudflareはボットの用途を、学習（training）、検索（search）、ユーザー操作（user action）などのカテゴリに分けている。2025年7月1〜28日の集計で、AIボットのクロールのうち約80%が学習目的だった。一方、ユーザー操作と未申告の合計は5%未満にとどまる。

これが意味するのは、自社サイトに来ているAIボットの大半が「いま誰かの質問に答えるために読んでいる」のではなく「モデルに覚えさせるために読んでいる」ということである。前者なら回答の中に出典として自社名が並ぶ可能性があるが、後者はモデルの重みに溶けて、出典としての自社は消える。読まれた量が指名や送客に結びつかない構造は、まずここから来ている。

ユーザー操作カテゴリの内訳も一点だけ押さえておきたい。このカテゴリのリクエストのうち約4分の3をChatGPT-Userが占める（2025年7月）。ただし分母はユーザー操作カテゴリの中だけであって、AIボットトラフィック全体の4分の3ではない。全体で見れば、ユーザー操作は未申告と合わせても5%未満の小さな塊である。

なお、この目的分類はCloudflareがオペレーターの公表情報や業界情報に基づいて付与したもので、Cloudflareが実際の用途を検証したわけではない。ボットが「学習用です」と表明した内容を、そのまま集計している。目的が判明しないものは「未申告」に入る。

事業者別・業種別で、比率はここまで動く

クロール対参照比は「そのボットに何ページ読ませたら、そこから訪問が1件返ってくるか」を示す。2025年8月1〜7日、業種フィルタなしの全顧客では次の通りだった。

  • Anthropic（ClaudeBot）は約50,000:1。約50,000ページ取得して、返ってきた参照は1件
  • OpenAI（GPTBot）は887:1
  • Perplexityは118:1

同じ週を業種で切ると、値は大きく変わる。ニュース・出版業種ではAnthropic 2,500:1、OpenAI 152:1、Perplexity 32.7:1。コンピュータ・電子機器業種ではAnthropic 8,800:1、OpenAI 401.7:1、Perplexity 88:1である。いずれも同一週の集計だが、分母・分子はその業種の顧客サイトのみで、全業種の値とは別集計になっている。

読み方の注意が二つある。ひとつは、業種で絞ると比率が改善して見えることが「その業種は得をしている」を意味しない点。ニュース・出版はそもそもクロール量が桁違いに大きく、比率が良くても絶対量としての転送負荷は重い。もうひとつは、この比率が事業者ごとのユーザー数規模を考慮していない点である。利用者が少ないサービスは、どれだけ良心的に振る舞っても構造的に比率が悪く出る。比率の大小をそのまま「悪質さの順位」として読むことはできない。

事業者別の傾向そのものは、AIボットは38,065ページ読んで訪問1件しか返さないのか？で扱った2025年7月時点の集計とも方向が一致している。ボット全体の分布や検証済みボットの扱いについてはCloudflareのボットレポート側で整理した。

この数字の限界を、先に書いておく

不都合な点を隠すと判断を誤るので、限界を列挙する。

  • データはCloudflareネットワークを通過するトラフィックに限られる。Cloudflareを利用していないサイトは一切含まれず、中小企業サイト全体や日本国内サイトの代表値ではない
  • 本文はサンプリング方法・除外条件・クロール対参照比の算出上の注意点を開示しておらず、検証可能な方法論の記述が乏しい
  • ボットの「目的」は自己申告と業界情報に基づく分類であり、Cloudflareが実用途を検証したものではない
  • 対象期間が短い。目的別で4週間、業種別比率は1週間しかない
  • 学習目的のトラフィックは本文でも「周期性のない不規則な挙動（somewhat erratic）」とされており、期間の取り方で数値は動きうる
  • 比率は事業者ごとのユーザー数規模を織り込んでいない

そして繰り返しになるが、これはボット制御製品を提供する会社が、自社観測データで自社製品の必要性を裏づける構図の発表である。

中小企業にとって、これは何を意味するのか

自社サイトやオウンドメディアを持つ会社にとって、この数字は「AIに読ませれば流入が増える」という期待を測り直す材料になる。

第一に、AIボットの許可・遮断を「一律」で決める根拠が弱いことが分かる。全業種でAnthropic約50,000:1、OpenAI 887:1、Perplexity 118:1と3桁の開きがあり、業種を絞ればさらに動く。全部許可も全部遮断も、この分布を見た上での判断とは言いにくい。ボット単位で見るべきである。

第二に、コストの説明材料になる。クロールは転送量とサーバー負荷を消費する。約80%が学習目的だとすれば、その負荷の大半は送客ゼロで発生している。共用サーバーやCDNの従量課金を使っているなら、これは経費の話に直結する。

第三に、robots.txtとCDN側のボット制御を棚卸しする機会になる。多くの中小企業のサイトは、robots.txtを数年前に置いたきり触っていない。AIボットのUser-agentは増え続けているので、そもそも記述が現状に追いついていない可能性が高い。

第四に、自社の数字を自分で持つことである。Cloudflareの値は他社ネットワークの平均であって、自社サイトの値ではない。アクセスログでUser-agent別のリクエスト数とリファラを1か月分数えるだけでも、自社固有の比率は出る。測り方の設計はAI検索経由の流入をどう測るか側で整理している。

TOEの読み筋

ここからは編集部の見立てで、TOEでは未実施である。この記事で扱ったクロール対参照比を自社サイトで実測した結果はまだ持っていない。以下は検証前の仮説として読んでほしい。

見立ては三つある。

ひとつめ。中小企業がまず取るべき行動は遮断ではなく計測だと考えている。遮断は不可逆な副作用（AI検索側での不可視化）を伴うが、計測はコストがほぼゼロで、しかも判断材料が自社固有になる。順序としては、1か月ログを取る→ボット別の比率を出す→比率と負荷の両面で許可・遮断を決める、が妥当だと見ている。

ふたつめ。学習目的が約80%という構図は、コンテンツ戦略の側に効いてくる可能性がある。学習用に消費されるだけの汎用的な情報と、指名検索や問い合わせにつながる自社固有の情報とでは、投じるコストの意味が違う。ただしこれは本データが直接示したことではなく、編集部の推測である。

みっつめ。今回のデータは2025年7〜8月の短期間の値であり、AI各社のクロール方針は動く。実際、この分野の比率は数か月単位で変わってきた。したがって「今この比率だから遮断する」という固定判断ではなく、四半期ごとに見直す運用に落とすべきだと考えている。TOEでも、まず自社サイトで同じ集計を1か月分回すところから始める予定である。

まとめ

  • Cloudflareの実測で、2025年7月1〜28日のAIボットのクロールのうち約80%が学習目的、ユーザー操作と未申告の合計は5%未満だった
  • 2025年8月1〜7日の全顧客ベースのクロール対参照比は、Anthropic約50,000:1、OpenAI 887:1、Perplexity 118:1と3桁の開きがある
  • 同じ週でも業種で絞ると値は動く。ニュース・出版はAnthropic 2,500:1／OpenAI 152:1／Perplexity 32.7:1、コンピュータ・電子機器はAnthropic 8,800:1／OpenAI 401.7:1／Perplexity 88:1
  • ただしこれはCloudflare社自身による発表で、同社はボット制御製品の提供者である。データはCloudflare網内に限られ、期間も4週間・1週間と短く、目的分類は自己申告ベースで、比率は事業者のユーザー規模を織り込んでいない
  • 中小企業が取るべきは一律の許可・遮断ではなく、自社ログでボット別の比率と転送負荷を1か月測ってから決めること。TOEでも自社サイトでの実測は未実施である