Cloudflareの新規則：AIトレーニング用クローラーは検索クローラーと分離必須、違反すれば遮断

世界的に著名なネットワークインフラサービス企業のCloudflareは近日、すべてのAI企業に対して9月15日までに、検索インデックス用のウェブクローラーとAIトレーニング・AIエージェント用のウェブクローラーを明確に分離することを義務付ける新方針を発表した。期限までにこの分類を完了しない場合、これらのクローラーは多数のパブリッシャーサイトでデフォルト遮断されるリスクに直面する。この動きはテック業界とコンテンツ業界の間で広く注目を集めている。

方針の詳細：強制分類、デフォルト遮断

Cloudflareの公式発表によると、9月15日以降、同社は検索とAIトレーニングを兼用するクローラーの活動を自動検出・識別する。AI企業がクローラーの具体的な用途（検索／非検索）をあらかじめCloudflareに申告しない場合、これらのクローラーは「高リスク」トラフィックとみなされ、Cloudflareのネットワーク保護に参加しているパブリッシャーサイトでデフォルト遮断される。Cloudflareは、これはAIクローラーを完全に禁止するものではなく、透明性と分類管理を求めるものであり、パブリッシャーが自身の意思に基づいてコンテンツをAIトレーニングに利用させるかどうかを選択できるようにするためだと強調している。

Cloudflareは「我々の目標は、コンテンツクリエイターが自分の作品の使われ方を決定できるようにすること、そしてAI企業に明確なコンプライアンスの道筋を提供することだ」と述べた。

この方針は、現在AI業界で広く見られる「一括」スクレイピング行為に直接対応するものだ。多くのAI企業が検索クローラーと同じUser-Agent識別子を使用し、検索インデックスとモデルトレーニング用データ収集を同時に行っており、パブリッシャーが識別・管理することを困難にしている。Cloudflareの新規則は技術的手段によって強制的に区別を設け、このあいまいな状態を打破しようとするものだ。

業界の背景：著作権紛争の激化

過去2年間、OpenAI・Google・Metaに代表されるAI企業が大規模にインターネット上の公開データを収集して大規模言語モデルのトレーニングに利用してきたことで、継続的な著作権訴訟とコンテンツクリエイターの抗議が引き起こされてきた。ニュースメディア、画像サイト、フォーラムコミュニティなどは、AI企業が許可なく著作権で保護されたコンテンツを使用していると相次いで非難している。例えば、ニューヨーク・タイムズはOpenAIを著作権侵害で提訴し、RedditやTwitter（現X）などのプラットフォームも無許可のAIクローラーに対して料金を課すか技術的制限を設けている。世界の約20%のウェブサイトにネットワークサービスを提供するCloudflareが方針を変更したことは、インフラレベルでコンテンツ著作権に「自動ゲート」を設けることに等しい。

実際、Cloudflareは2024年にすでに「AI Audit」ツールを導入しており、パブリッシャーがどのAIクローラーが自サイトにアクセスしているかを確認し、ワンクリックで遮断する機能を提供していた。しかし当時のツールは選択式であり、パブリッシャーが手動で有効化する必要があった。新方針では「デフォルト拒否、能動的申請」へと変わり、主導権がさらにコンテンツ提供者側に移る。

Cloudflareの役割：中間者からルール策定者へ

Cloudflareの新規則が広範な影響力を持つのは、同社がウェブトラフィックの要所に位置しているためだ。AI企業のクローラーであれ、一般ユーザーのアクセスであれ、多くはCloudflareのプロキシネットワークを経由する。かつてCloudflareは主に受動的・中立的な役割を担っていたが、今やクローラーの行動に能動的に介入し、AI企業に自己識別を求めるようになった。この変化は、インフラ構築者がインターネットコンテンツの利用ルールにおける重要なプレイヤーになりつつあることを意味している。

AI企業にとって新規則への準拠は、クローラーのUser-Agent文字列を変更し、Cloudflareに分類申告を提出することを意味する。OpenAIのGPTBotはもともと独立したUser-Agent識別子を使用しているが、多くの小規模なAIスタートアップのクローラーは混在している可能性がある。遵守しない場合の結果は、多数のパブリッシャーサイト（特にニュース・ブログ・学術サイト）がアクセスを直接拒否することになり、トレーニングデータのソースが大幅に減少する。これはAI業界のデータ取得コストの上昇を加速させ、より多くのコンテンツライセンス契約の締結を促す可能性がある。

編集後記：有料コンテンツ時代におけるインフラの参入

Cloudflareのこの方針は孤立した事例ではない。Googleとニュースパブリッシャーのコンテンツライセンス契約から、Metaがカナダで「オンラインニュース法」によりニュースコンテンツを遮断したこと、AI企業が一部メディアとひそかにデータ取引を行っていることまで、明確なトレンドが形成されつつある。インターネットコンテンツの「フリーランチ」時代が終わりを迎えようとしているのだ。トラフィックパイプラインの管理者として、CloudflareがここでAIクローラーの分類を要求することは、本質的にはシステムレベルで「許可メカニズム」を構築することであり、コンテンツをAIトレーニングに利用できるかどうかの決定権を、あいまいなrobots.txtプロトコルから明確で強制力のあるインフラルールへとアップグレードすることを意味する。

注目すべきは、この方針も論争がないわけではない点だ。一部のAI研究機関は、過度な分割がデータアクセスの断片化を招き、研究・イノベーションを妨げる可能性を懸念している。しかし長期的には、クリエイターの権益保護と技術発展の促進との間に新たなバランスが必要だ。Cloudflareの試みは、業界に参考となる中立的な方案を提供するかもしれない。次のステップとして、Akamai・Fastlyなどのネットワークインフラ企業が同様の方針に追随し、業界標準が形成される可能性もある。

本記事はTechCrunchより編集・翻訳