OpenAI、robots.txtの共有シグナル準拠を表明――複数AIプロバイダーへの学習設定を一括管理可能に

OpenAIは2026年10月30日、robots.txtにおける共有シグナルを遵守する方針を発表した。これにより、ウェブサイト運営者は参加AIプロバイダーに対してAI学習に関する設定を一括して伝達できるようになる。この仕組みはIETFのAIPREFワーキンググループに由来するもので、その核心は__usage_ai-trainingポリシートークンの導入にある。

事実の整理

2026年10月30日、OpenAIはこの共有シグナルへの対応を正式に表明した。シグナルの定義は「Machine-Readable Training Preference Signal」と題された個人インターネットドラフトに記されており、AnthropicのKevin Kelleyが執筆し、ドラフトの日付は2026年10月30日、有効期限は2027年5月3日となっている。同ドラフトでは、ウェブサイトがrobots.txtにおいてUser-Agent: __usage_ai-trainingとDisallowまたはAllowディレクティブを組み合わせることで、AI学習に関する設定を表明できると規定している。たとえば、全パスでの学習を禁止しつつ/press-kit/パスのみ許可するといった設定が可能だ。既存のrobots.txtパーサーは未知のユーザーエージェントグループを無視するため、既存のトラフィック管理ルールには影響しない。

Googleも同日、同一提案の採用計画を発表した。2027年初頭に__usage_ai-trainingシグナルへの対応を予定しており、クローラー一覧ページも更新する方針だ。Googleは、サイトがこのトークンを使って学習をオプトアウトし、かつGoogle-Extendedを個別に指定していない場合、Google-Extendedが禁止されているものとして扱うと述べている。

仕組みの解説

このシグナルはRFC 9309で定義されたrobots.txtの標準構造に基づいており、新たなディレクティブ名や構文は導入されていない。ウェブサイト運営者はrobots.txtに__usage_ai-trainingをユーザーエージェントとするグループを追加するだけで、複数プロバイダーにまたがる学習設定を一度に行える。これまでは各AIクローラーに対して個別にルールを管理する必要があったが、今後は共有ルール一つで対応可能になる。OpenAIは、このシグナルが既存のrobots.txtによる制御に取って代わるものではなく、従来の設定も引き続き遵守されると明言した。シグナルはあくまで任意的なものであり、基盤モデルの学習に特化しており、コンテンツのあらゆる利用用途を網羅するものではない。

ドラフトでは、ワイルドカードグループUser-Agent: *はこのポリシートークンに一致するものと解釈してはならないと強調している。一致するグループが存在しない場合、設定は表明されないものとみなされる。

業界への影響

コンテンツ制作者にとっては、複数AIプロバイダーのルールを管理する負担が軽減され、一度の設定で参加プロバイダー全体に反映できる。ただし、実際の効果は他の主要AI企業が同様に採用するかどうかに依存しており、現時点で表明しているのはOpenAIとGoogleのみである。

AIプロバイダーにとっては、参加することでコンプライアンス対応のコストを削減でき、制作者の管理権を尊重する姿勢を示すことにもなる。一方、参加しないプロバイダーは引き続き個別のルール管理を強いられ、データ取得の利便性で不利な立場に置かれる可能性がある。

開発者・ウェブサイト運営者にとっては、既存のrobots.txtパース処理を変更する必要がなく、導入のハードルは低い。ただし、シグナルが対象とするのは学習用途のみであり、検索インデックスなど他の用途については引き続き個別の設定が必要だ。

戦略的展望

現時点で公表されている表明内容をもとに分析すると、最も可能性が高い次のステップとして、OpenAIが今後数ヶ月以内に具体的な実装詳細を公開し、IETFワーキンググループの他の参加者が順次支持の可否を表明するものと見られる。注目すべき点は、Googleの2027年における実際の展開状況と、さらに多くのプロバイダーが公式に参加を表明するかどうかである。以上の分析は公表されたアナウンス内容に基づくものであり、事実の確認ではなく見解である。