先に立場を明かします

株式会社TOEは福岡のWeb制作・AI開発の会社で、AI検索対策のサービスを売りうる利害関係者です。この記事も、意見ではなく実際に測った数字だけを置きます。

何を測ったのか

AIは、答えを作るために各サイトの中身を読みに来ます。この「読みに来るプログラム」をAIクローラと呼びます。代表的なものに、次があります。

  • GPTBot（OpenAI）
  • ClaudeBot（Anthropic）
  • CCBot（Common Crawl。多くのAIの学習元になる）
  • Google-Extended（GoogleのAI向け）
  • PerplexityBot（Perplexity）
  • Bytespider（ByteDance／TikTok）

サイトは robots.txt というファイルで、これらのクローラに「来ていい／来るな」を伝えられます。では主要サイトは、AIクローラを許可しているのか、拒否しているのか。 それを実際に数えました。

どうやって測ったか

測定日：2026年7月22日。対象：日本と海外の主要25サイト。

  1. 各サイトの robots.txt をプログラムで取得した
  2. 上記6種のクローラそれぞれについて、Disallow: /（全体を拒否）が指定されているかを判定した
  3. 取得できなかったサイトは「取得失敗」とし、埋めていない

robots.txt は「お願い」であって強制力はありません。無視するクローラも存在します。ここで測っているのはサイト側の意思表示であって、実際にブロックできているかではありません。

結果：6サイトがAIクローラを拒否していた

25サイト中、robots.txtを取得できたのは23サイト（NHK・ソニーは取得失敗）。そのうち、AIクローラを1つ以上拒否していたのは6サイトでした。

サイト 拒否していたクローラ
朝日新聞 6種すべて
読売新聞 6種すべて
The New York Times 6種すべて
Amazon.co.jp 6種すべて
Yahoo! JAPAN GPTBot・Google-Extended
Zenn Bytespider

残りの17サイト（日経・Qiita・note・楽天・メルカリ・トヨタ・OpenAI・GitHub・Wikipedia など）は、これらのクローラに対して明示的な拒否を置いていませんでした。robots.txtで拒否していない場合、通常はクローラの来訪を許容している状態になります。

なお、Cloudflare と Medium は、AIクローラを明示的に許可する記述を置いていました。

分かったこと1：拒否していたのは主に新聞社

6サイトのうち、朝日新聞・読売新聞・The New York Times の3つが新聞社で、いずれも6種すべてを拒否していました。

報道機関にとって、記事はそのまま商品です。AIに読み込まれて要約・引用されると、自社サイトへの訪問なしに内容が消費される懸念があります。「AIには読ませない」という意思表示が、最もはっきり出ていたのが新聞社でした。

分かったこと2：多くのサイトは「拒否していない」

17サイトは明示的な拒否を置いていませんでした。これは2通りに解釈できます。

  • 意図して許可している（AIに引用されることを歓迎、または問題視していない）
  • まだ対応していない（AIクローラの存在を意識していない、判断を保留している）

robots.txtからは、このどちらかまでは分かりません。ただ、「拒否する」という明確な行動を取っているサイトは、まだ少数派だという事実は言えます。

分かったこと3：AI企業自身は自社を拒否していない

OpenAI・Anthropic・GitHub のサイトは、AIクローラを拒否していませんでした。当然といえば当然ですが、「AIに読まれること」への態度が、業種によってはっきり分かれていることが見て取れます。

立場 傾向
報道機関 拒否が明確（記事＝商品を守る）
ECプラットフォーム 一部拒否（Amazon.co.jp）
テック・AI企業 拒否していない
一般企業・多くのメディア 明示的な設定なし

この測定で言えないこと（限界）

  • 強制力はない。robots.txtは「お願い」で、無視するクローラもいます。拒否＝ブロック成功ではありません
  • 意思表示と結果は別。拒否していても学習に使われている可能性、許可していてもAI検索に出ない可能性、どちらもあります
  • 判定は簡易。Disallow: / を機械判定しました。複雑な記述は取りこぼす可能性があります
  • 25サイトは代表ではない。有名サイトを恣意的に選んでいます
  • 2サイトは取得失敗（NHK・ソニー）。埋めていません

まとめ

  • 実測（2026年7月22日・25サイト、23サイト取得成功）：AIクローラを1つ以上拒否していたのは6サイト
  • 実測：拒否していた6サイトのうち3つが新聞社（朝日・読売・NYT）で、いずれも6種すべてを拒否
  • 実測：17サイトは明示的な拒否を置いていない（＝多くは許容状態）
  • 実測：AI企業・テック企業（OpenAI・Anthropic・GitHub）は自社を拒否していない
  • 未測定：拒否が実際に効いているか、学習に使われているか

自社サイトをAIに読ませるべきか拒否すべきかは、立場で変わります。記事で稼ぐメディアは拒否、見つけてほしい企業は許可、という分かれ方が数字にも表れていました。自社の robots.txt が今どうなっているかは、＜自社ドメイン＞/robots.txt を開けば1分で確認できます。まず見てみることをお勧めします。

本記事のデータは、2026年7月22日に各サイトの /robots.txt を取得し、6種のAIクローラそれぞれに Disallow: / があるかを機械判定した実測結果です（n=25、うち取得成功23）。robots.txtの強制力・実効性は評価していません。