先に立場を明かします
株式会社TOEは福岡のWeb制作・AI開発の会社で、サイト改修を請け負いうる利害関係者です。この記事の土台は、2026年7月22日に主要25サイトの robots.txt を取得して機械判定した実測です。「許可すれば引用されます」とは書きません。測っていないからです。
結論（先に表で）
| 立場 | 判断 | 理由 |
|---|---|---|
| 見つけてほしい会社（製造業・BtoB・地域企業） | 許可 | 読まれなければ、そもそもAIの答えに出ようがない |
| 記事そのものが商品のメディア | 拒否も選択肢 | 読まれても訪問が返らない可能性がある |
| 会員制・有料コンテンツを持つサイト | 部分的に拒否 | 有料部分だけを拒否する |
| 判断がつかない | 許可のまま様子を見る | 拒否は後からでもできる。逆は取り返しに時間がかかる |
多くの中小企業にとっては「許可（＝何もしない）」が既定の答えです。 ただし、自社が意図せず拒否していないかの確認は必要です。
前提：robots.txt とは何か
サイトの直下に置くテキストファイル（example.com/robots.txt）で、クローラに「来ていい／来るな」を伝えるものです。
重要な性質が2つあります。
- 強制力はありません。 「お願い」であって、無視するクローラも存在します
- 拒否＝ブロック成功ではありません。 拒否していても学習に使われている可能性、許可していてもAI検索に出ない可能性、どちらもあります
対象になる代表的なAIクローラは次の6種です。
| クローラ | 運営 |
|---|---|
| GPTBot | OpenAI |
| ClaudeBot | Anthropic |
| CCBot | Common Crawl（多くのAIの学習元になる） |
| Google-Extended | Google（AI向け） |
| PerplexityBot | Perplexity |
| Bytespider | ByteDance／TikTok |
実測：主要25サイトはどうしていたか
2026年7月22日、25サイトの robots.txt を取得しました（取得成功23サイト）。AIクローラを1つ以上拒否していたのは6サイトでした。
| サイト | 拒否していたクローラ |
|---|---|
| 朝日新聞 | 6種すべて |
| 読売新聞 | 6種すべて |
| The New York Times | 6種すべて |
| Amazon.co.jp | 6種すべて |
| Yahoo! JAPAN | GPTBot・Google-Extended |
| Zenn | Bytespider |
拒否していた6サイトのうち3つが新聞社で、いずれも6種すべてを拒否していました。一方、日経・Qiita・note・楽天・メルカリ・トヨタ・OpenAI・GitHub・Wikipedia など17サイトは、明示的な拒否を置いていませんでした。詳細は主要25サイトのrobots.txtで、AIクローラは拒否されているか許可されているかにあります。
| 立場 | 傾向 |
|---|---|
| 報道機関 | 拒否が明確（記事＝商品を守る） |
| ECプラットフォーム | 一部拒否 |
| テック・AI企業 | 拒否していない |
| 一般企業・多くのメディア | 明示的な設定なし |
「拒否する」という明確な行動を取っているサイトは、まだ少数派でした。
判断の分かれ目
拒否を検討してよい場合
- 記事・写真・データそのものが売り物である（報道、有料レポート、素材配布）
- 読まれても訪問が返らないことが実害になる。Cloudflareの集計では、AIボットの大量アクセスに対して返ってくる訪問はごく僅かだという数字が出ています（AIボットは38,065ページ読んで訪問1件）
- サーバー負荷が実際に問題になっている
許可のままでよい場合（大半の企業）
- 見つけてもらうことが目的である。製造業・建設業・士業・地域企業のほとんどがここです
- 自社サイトの中身はカタログ的な情報で、それ自体を売っているわけではない
- 拒否すると、AIの答えに出る可能性が消える。当社の実測では、発注クエリに対して個社サイトが引用元に出ていました（3クエリ・引用12ドメイン中8件が個社サイト）
「AIに学習されるのが嫌だ」という感情は理解できますが、それと「AIの答えに出たい」は両立しません。 どちらを取るかを決める必要があります。
部分的に拒否する場合
会員限定ページ・有料記事・見積書のPDFなど、出したくない領域だけを拒否できます。全体を拒否する必要はありません。
書き方
何もしない（＝許可）
robots.txt に AIクローラの記述がなければ、通常は来訪を許容している状態です。多くの企業はこれで構いません。
特定のクローラだけ拒否する
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
一部のディレクトリだけ拒否する
User-agent: GPTBot
Disallow: /members/
Disallow: /download/
明示的に許可する（意思表示として）
User-agent: GPTBot
Allow: /
Cloudflare と Medium は、明示的な許可の記述を置いていました。動作としては書かないのと同じですが、意思表示にはなります。
自社の状態を確認する手順（5分）
- ブラウザで
＜自社ドメイン＞/robots.txtを開く Disallow: /という行があるか探す- その直前の
User-agent:が何かを見る
ここで意図しない拒否が見つかることがあります。 特に多いのが次の2つです。
| よくある事故 | 何が起きるか |
|---|---|
テスト環境の設定（User-agent: * / Disallow: /）が本番に残っている |
検索エンジンにもAIにも一切読まれない |
| 制作会社が入れた設定を誰も把握していない | 意図せず特定のクローラを拒否している |
User-agent: * に対して Disallow: / が付いていたら、それは全クローラの全面拒否です。 至急確認してください。
拒否しても届かないもの、許可しても届かないもの
robots.txt はAI検索対策の入口であって、対策そのものではありません。
- 許可していても、書いてある内容が薄ければ引用されません
- 許可していても、同名の会社と混ざっていれば自社として認識されません（AIが別の会社の説明を返してくるとき、何をすればいいのか）
- 拒否していても、すでに学習されたデータや第三者のページ経由で説明されることはあります
やることの順序はAI検索対策は何から始めるか — 中小企業の最初の90日に整理しています。robots.txt の確認は、その最初の30日に入る作業です。
robots.txt と混同されやすい3つ
「AIに読ませない」の手段として、別のものが混同されることがあります。役割が違います。
| 手段 | 何をするもの | AI検索との関係 |
|---|---|---|
| robots.txt | クローラの来訪可否を伝える | 読みに来るかどうか |
| noindex | 検索結果に載せないよう伝える | 索引に載るかどうか |
| sitemap.xml | 存在するURLを申告する | 見つけてもらいやすくなる |
| ログイン制限 | サーバー側で実際に見せない | 確実に読まれない |
確実に読ませたくないなら、robots.txt ではなくログイン制限です。 robots.txt は「お願い」であり、強制力がありません。
逆に「読ませたいのに読まれていない」ときは、robots.txt より先に確認すべきものがあります。
- 会社概要や事業内容が、画像・PDFの中の文字になっていないか
- JavaScriptでしか表示されない構成になっていないか
- sitemap.xml が古いまま、新しいページが載っていないか
- サーバーが特定のアクセスを遮断していないか
当社は自社の別サイトを実測したとき、無作為抽出したURLの約半数がGoogleに未認識（URL is unknown to Google）という結果でした。この段階では、robots.txt の設定より先に「そもそも発見されているか」を見る必要があります。
確認チェックリスト（10分）
制作会社に任せている場合でも、次は自社で確認できます。
| 確認 | 方法 | 危険な状態 |
|---|---|---|
| robots.txt の中身 | ＜ドメイン＞/robots.txt を開く |
User-agent: * に Disallow: / |
| sitemap の場所 | robots.txt 内の Sitemap: 行 |
記載なし・古いURL |
| sitemap の中身 | そのURLを開く | 更新が止まっている |
| 主要ページのnoindex | ページのソースで noindex を検索 |
会社概要・事例ページに付いている |
| 会社概要の文字 | ページ上で文字を選択できるか | 選択できない＝画像の中の文字 |
5番目が最も多い問題です。 会社概要の表が画像1枚になっているサイトは珍しくありません。文字が選択できなければ、AIも読めません。
拒否から許可へ戻す場合
過去に拒否していて、方針を変える場合の注意点です。
- robots.txt を書き換えても、すぐには読みに来ません。 クローラの巡回間隔があります
- 拒否していた期間の内容が、そのまま入るわけではありません
- 戻した後は、正しく読まれているかを測る（自社がAIにどう説明されているかを、30分で調べる手順）
拒否は数分で戻せますが、回復には時間がかかります。 この非対称性が、冒頭の表で「判断がつかないなら許可のまま様子を見る」と書いた理由です。
この記事で言えないこと（限界）
- 許可が引用につながることを、当社は証明していません。 前後比較をしていません
- 実測は25サイトの恣意的な抽出（うち取得成功23）です。全ウェブの分布ではありません
- 判定は
Disallow: /の機械判定です。複雑な記述は取りこぼす可能性があります - robots.txt に強制力はありません。 拒否が実際に効いているかは測っていません
- クローラの名称・仕様は変わります。この記事の6種は2026年7月時点のものです
まとめ
- 実測（2026年7月22日・25サイト、取得成功23）：AIクローラを拒否していたのは6サイト
- うち3つが新聞社で、いずれも6種すべてを拒否。記事＝商品を守る立場がはっきり出ていた
- 17サイトは明示的な拒否なし。拒否は現時点で少数派
- 中小企業の大半は許可のままでよい。見つけてほしい立場と、読ませない選択は両立しない
- 全面拒否は部分拒否で代替できる。出したくない領域だけを拒否する
- まず
＜自社ドメイン＞/robots.txtを開く。 テスト設定が本番に残っている事故が実際にある
自社が実際にAIから見えているかは自社がAIにどう説明されているかを、30分で調べる手順で確認できます。
本記事の実測データ：2026年7月22日、日本と海外の主要25サイトの /robots.txt を取得し、6種のAIクローラそれぞれに Disallow: / があるかを機械判定した結果です（n=25、取得成功23）。robots.txt の実効性は評価していません。
