AI学習は拒否、検索クロールは維持……Cloudflareの新機能「AI学習の不許可」 Google、Apple、Microsoftが対応

Google の検索で見つかるようにしたいが、AI の学習には使わせたくない。従来、この望郷は実現が難しかった。多くの大手 AI 企業は学習クローラーと検索クローラーを分けているが、Google、Apple、Microsoft は「兼用クローラー」を使っている。つまり同じロボットが検索しながら学習している。サイト運営者が「AI 学習クローラーを拒否」と指定しても、同時に検索順位も下がるという踏んだり蹴ったりの状況だった。Cloudflare がこの課題に対して、robots.txt に AI 学習を認めないルールを記載する新機能を実装した。Google と Apple はすでに対応し、Microsoft も2027年初頭に対応する見通しだ。

ここから見えるのは、業界的な綱引きだ。AI 企業は学習データを貪欲に求めるが、コンテンツ作成者は「自分たちの資産が無断学習される」ことに不安を感じている。Cloudflare の新機能は、その緊張関係を「技術的に調停する」試みだ。ただし完全ではない。一部企業は学習クローラーを分けていない可能性もある。また、すでに学習済みのデータには遡及的に対応できない。つまり「今後」の学習を止めるだけで、現在の LLM に含まれているコンテンツは戻らない。

中小企業にとって大切なのは、「自社コンテンツを AI に使われたくない」という選択肢が、いま初めて形になったということだ。自社ブログや製品情報が無断学習される時代は終わりに向かっている。同時に、検索を捨てずに学習を拒否できるようになれば、多くのメディアやクリエイターは積極的に設定を変更するだろう。結果として、AI の学習に使える「野生のテキスト」の質と量は低下し、各社が独自データに頼る傾向が強まっていく。その過程で、オリジナルコンテンツの価値は相対的に上がるはずだ。