自社サイトのコンテンツを AI 企業のモデルの学習に使ってほしくないなら、サイトの robots.txt ファイルに二行を加えてください。User-Agent: __usage_ai-training と、その下に Disallow: / です。2026年10月30日、OpenAI、Google、Microsoft の三社は、この共通シグナルを尊重すると発表しました。Microsoft は 2027年2月1日に開始し、Google は 2027 年を目標とし、OpenAI は今後数か月のうちに実装するとしています。このシグナルが対象とするのは学習だけなので、Google や Bing の検索結果からサイトが消えることはありません。各社が実際に対応するまでは、それぞれの既存の設定をそのまま残しておきましょう。Meta のボットに自社サイトのクロールを認める Meta の新しい規約についての記事を読まれた方にとっては、これが次の一歩です。
具体的に何が発表されたのか？
これまで、自社のコンテンツをモデルの学習から外したいサイト運営者は、各社のクローラーの名前を知り、それぞれに別々のルールを書く必要がありました。OpenAI なら GPTBot、Anthropic なら ClaudeBot、Google なら Google-Extended というように、新しい会社が現れるたびに新しい名前が増えていきました。新しいシグナルは、このリストを一つの共通の名前に置き換えます。これは、インターネットの多くの技術標準を策定している団体であるインターネット技術タスクフォース（IETF）に提出されたインターネットドラフト（Internet-Draft）に基づくもので、Anthropic の Kevin Kelley 氏が IETF の AI 設定ワーキンググループの中で執筆しました。このドラフトの日付は 2026年10月30日で、2027年5月3日に失効し、標準化の過程を目指しています。つまり、まだ提案の段階であり、完成した標準ではありません。
考え方はあえてシンプルにされています。ドラフトは robots.txt に新しい命令を加えません。User-Agent の行にポリシートークン（policy token）と呼ばれる特別な名前を書いた通常のグループを使い、おなじみの Allow と Disallow のルールで、サイトのどの部分を使ってよいか、どの部分は使ってはいけないかを示します。たとえば、サイト全体では学習を拒否しつつ、プレスキットのページだけは許可する、といった書き方ができます。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ドラフトは AI の学習を、生成 AI モデル、つまり文章や画像などのコンテンツを生み出すモデルが学習したパラメーターを、コンテンツを使って変更することと定義しています。分類や並べ替え、スコア付けだけに使われるモデルは対象外です。
どの会社が、いつから対応するのか？
| 企業 | 発表内容 | 時期 | 別扱いのまま残るもの |
|---|---|---|---|
| OpenAI | 共通シグナルを尊重する。現在の設定も引き続き有効 | 「今後数か月のうちに」 | 学習には GPTBot、ChatGPT の検索回答には OAI-SearchBot |
| Google-Extended が明示的に設定されていない場合、トークンによる拒否を Google-Extended の拒否として扱う | 2027 年を目標 | Google 検索には Googlebot、Gemini の学習とグラウンディングには Google-Extended | |
| Microsoft | トークンを尊重し、ページ単位の AI Grounding という別の設定を追加する | 2027年2月1日から。設定は 2027年3月1日まで | Bing の検索結果に表示される資格は変わらない |
| Anthropic | ドラフトの執筆者が在籍している | ヘルプページに日付の記載はない | 学習の設定として文書化されているのは引き続き ClaudeBot |
発表の中には、サイトを持つすべての企業にとって重要な点が二つあります。一つ目は、Microsoft によると、2027年3月1日以降、古い NoArchive タグと NoCache タグを AI に関する設定として読み取らなくなることです。サイトがこれらのタグに頼っているなら、その日までに新しい設定を公開してください。グラウンディング用の移行設定は 2026年12月15日に Bing Webmaster Tools で利用できるようになりますが、対象はすでにこれらのタグを使っているサイトだけで、2027年9月30日に期限切れとなります。二つ目は、すべてのクローラー向けに書かれた一般的なルールである User-Agent: * は、学習に関する設定とは見なされないとドラフトが定めていることです。一括のブロックは「学習お断り」を意味せず、それを伝えられるのは名前を付けたトークンだけです。
学習と、回答に表示されることは別物
これは多くのサイト運営者が見落としている違いです。学習とは、自社のコンテンツが将来のモデルづくりに役立てられることです。一方、Microsoft がグラウンディング（grounding）と呼ぶ回答とは、顧客が質問したその瞬間に AI アシスタントがページを読み、リンク付きで引用することを指します。新しいトークンが扱うのは学習だけです。OpenAI はこの二つを分けています。GPTBot は学習を担い、OAI-SearchBot はサイトが ChatGPT の検索回答に表示されるかどうかを決めます。Microsoft はさらに踏み込み、ページごとに設定するグラウンディングの設定を追加しました。選択肢は三つで、Allow、Copilot など Microsoft 自身の製品だけに利用を限る DisallowExtended、そして Disallow です。Microsoft は、グラウンディングを制限すると AI の回答での露出が大きく下がること、またどちらを選んでも掲載やトラフィック、対価が保証されるわけではないことを注意しています。
注意が必要な例外が Google です。Google の Google-Extended という設定は、Gemini モデルの学習と Gemini アプリでのグラウンディングの両方を対象としており、Google によれば、Google-Extended を明示的に許可しているサイトは Gemini アプリの回答に表示され、クリックを受け取ることができます。したがって、共通トークンで学習を拒否すると、Google はそれを Google-Extended の拒否として扱います。Google-Extended は検索での掲載にも順位にも影響しないため、Google 検索には残りますが、Gemini アプリでのグラウンディングは手放すことになります。その露出を望むなら、Google-Extended を明示的に設定してください。AI の回答がどのように情報源を選ぶのかについては、自社を ChatGPT に表示させる方法をご覧ください。
自社はオプトアウトすべきか？
唯一の正解はなく、サイトに何が載っているかによります。有料講座、独自の調査、詳しい価格表、チームが書いた何千もの商品説明など、コンテンツそのものが商品である場合は、拒否するのが理にかなっています。サイトがサービスの紹介で、社名を広く知ってもらいたい場合は、許可してもほとんど損はありません。どちらの場合も、検索と回答のクローラーは許可したままにしておきましょう。顧客を連れてきてくれるのは、まさにそれらのクローラーだからです。
今週やるべき五つのステップ
- 現在のファイルを確認する。 ブラウザーで あなたのドメイン.com/robots.txt を開きます。忘れられた
User-agent: *とDisallow: /の組み合わせや、OAI-SearchBot、Googlebot、Bingbot をブロックしているルールがないか探してください。 - 二つのことを別々に決める。 学習を許可するかどうか。回答を許可するかどうか。次の開発者が元に戻してしまわないよう、決定を文書に残しておきましょう。
- 共通トークンを加え、既存のルールも残す。 三社のうち、まだどこもトークンに対応していません。各社が対応するまでは、GPTBot、ClaudeBot、Google-Extended のルールをトークンと並べて残しておいてください。Anthropic のヘルプページでは、いまも ClaudeBot が拒否の方法として案内されています。
- Bing 向けのタグを確認する。 ページで NoArchive や NoCache を使っている場合は、2027年3月1日より前に新しい設定へ移行する計画を立ててください。
- 非公開のものはすべてログインの内側に置く。 robots.txt は誰でも見られる任意のシグナルです。ドラフトは個別の契約がこれに優先することを認めており、設定が適用されるのは公開後に取得されたものだけで、それ以前に収集されたものには及びません。
Origami の視点
長年、robots.txt は社内の誰も覚えていないファイルで、サイトを作った人が一度書いたきりのものでした。それが変わりつつあります。いまやこのファイルが、自社のコンテンツが AI モデルの学習に使われるかどうか、自社のページが AI の回答に表示されるかどうか、そして近いうちに Microsoft が各ページをどう扱うかまで決めるのです。毎月のように長くなるクローラー名のリストに比べれば、共通の名前は確かな前進ですが、判断そのものの代わりにはなりません。私たちがよく目にするのは、robots.txt を最後に誰が編集したのか誰も知らないサイトや、運営者が受け入れたかったクローラーをコンテンツ配信ネットワークがブロックしているケースです。Origami はウェブサイト、プラットフォーム、そしてオーダーメイドのシステムを開発しており、こうした設定をプロジェクトの一部として扱い、文書化してレビューしています。robots.txt、CDN のルール、そして AI の回答での露出をまとめて見直したい場合は、お問い合わせください。
出典
- OpenAI：サイトが AI の学習に関する意向を示しやすくするために、2026年10月30日
- Google Search Central ブログ：サイト向けの共通の AI 学習コントロールへの対応、2026年10月30日
- Microsoft Bing ブログ：学習とグラウンディングについてのより明確な設定、2026年10月30日
- IETF：ドラフト draft-kelley-aipref-training-preference-signal-00
- Google for Developers：Google の一般的なクローラー、Google-Extended の項
- OpenAI：OpenAI のクローラーの概要
- Anthropic ヘルプセンター：Anthropic はウェブをクロールしているのか、サイト運営者はどうすればクローラーをブロックできるのか
よくある質問
robots.txt にこの二行を加えると、自社サイトが Google の検索結果から消えてしまいますか？
いいえ。共通シグナルが対象とするのは AI の学習だけです。Google は、このシグナルの扱いの基準となる Google-Extended が Google 検索での掲載にも順位にも影響しないと説明しており、Microsoft も新しい設定は Bing の検索結果に表示される資格を変えないとしています。
OpenAI、Google、Microsoft は、いつから AI 学習のオプトアウトに対応しますか？
Microsoft は 2027年2月1日から、Google は 2027 年を目標とし、OpenAI は「今後数か月のうちに」としています。それまでは、robots.txt にある既存の GPTBot、ClaudeBot、Google-Extended のルールを残しておいてください。
オプトアウトすれば、すでに学習に使われた AI モデルから自社のコンテンツは削除されますか？
いいえ。草案によると、あるページに適用されるのは、そのページが取得された時点で robots.txt に書かれていた設定です。つまり、設定を公開した後に収集されるコンテンツが対象で、それ以前に収集されたものは対象外です。
価格表や社内ファイルを守るには、robots.txt だけで十分ですか？
いいえ。robots.txt は誰でも見られる任意のシグナルで、草案は個別の契約がこれに優先することも認めています。非公開にすべきものは、公開ページではなく、本物のログイン認証の内側に置いてください。
GoogleでOrigamiをフォロー
Origamiを優先ソースに追加すると、Google検索やトップニュースで私たちの記事が優先的に表示されます。
