如果你不希望 AI 公司用你网站的内容来训练模型，只需在网站的 robots.txt 文件中加入两行：User-Agent: __usage_ai-training，并在其下方写上 Disallow: /。2026 年 10 月 30 日，OpenAI、Google 和 Microsoft 宣布将遵守这一通用信号：Microsoft 从 2027 年 2 月 1 日开始执行，Google 的目标是 2027 年，OpenAI 则表示会在未来几个月内实施。该信号只涉及训练，因此不会让你的网站从 Google 或 Bing 的搜索结果中消失。在每家公司正式启用之前，请保留它们现有的控制设置。如果你读过我们关于Meta 新条款允许其机器人抓取你网站内容的文章，这就是接下来要做的一步。

到底宣布了什么？

到目前为止，网站所有者如果想让自己的内容不被用于模型训练，就必须知道每家公司爬虫的名字，并为每一个单独写一条规则：OpenAI 是 GPTBot，Anthropic 是 ClaudeBot，Google 是 Google-Extended，每出现一家新公司就多一个新名字。新信号用一个通用名称取代了这份名单。它来自提交给互联网工程任务组（IETF）的一份互联网草案（Internet-Draft）。IETF 是制定众多互联网技术标准的机构，这份草案由 Anthropic 的 Kevin Kelley 在 IETF 的 AI 偏好工作组中撰写。草案的日期是 2026 年 10 月 30 日，将于 2027 年 5 月 3 日到期，目标是进入标准轨道，也就是说它目前仍是一项提案，而不是已经完成的标准。

这个思路刻意保持简单。草案没有在 robots.txt 中加入任何新命令，而是使用一个普通的规则组，其 User-Agent 行写的是一个特殊名称，称为策略令牌（policy token），再由常见的 Allow 和 Disallow 规则说明网站的哪些部分可以使用、哪些不可以。例如，你可以拒绝整个网站被用于训练，但允许新闻资料页面被使用：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

草案将 AI 训练定义为：使用内容来修改生成式 AI 模型已学到的参数，也就是能够生成文字、图像或其他内容的模型。仅用于分类、排序或评分的模型不在此列。

谁会遵守，从什么时候开始？

公司 宣布内容 时间 仍然分开处理的部分
OpenAI 将遵守这一通用信号，现有控制设置继续有效 「未来几个月内」 GPTBot 用于训练，OAI-SearchBot 用于 ChatGPT 的搜索回答
Google 如果网站没有明确设置 Google-Extended，会把通过令牌表达的拒绝视为禁止 Google-Extended 目标是 2027 年 Googlebot 用于 Google 搜索；Google-Extended 用于 Gemini 训练和 grounding
Microsoft 将遵守该令牌，并新增一项按页面设置的独立偏好，名为 AI Grounding 2027 年 2 月 1 日起；2027 年 3 月 1 日前完成设置 进入 Bing 搜索结果的资格不变
Anthropic 草案作者在该公司工作 其帮助页面上没有日期 ClaudeBot 仍是其文档中用于训练的控制方式

这些公告中有两个细节，对每一家拥有网站的企业都很重要。第一，Microsoft 表示，2027 年 3 月 1 日之后，将不再把旧的 NoArchive 和 NoCache 标签视为 AI 偏好；如果你的网站依赖这两个标签，请在这一日期之前发布新的偏好设置。用于 grounding 的过渡设置将于 2026 年 12 月 15 日在 Bing Webmaster Tools 中开放，仅适用于已经在使用这些标签的网站，并于 2027 年 9 月 30 日到期。第二，草案规定，面向所有爬虫的通用规则 User-Agent: * 不算训练偏好。一刀切的屏蔽并不等于「禁止训练」，只有写明的令牌才表达这一点。

训练和出现在回答中不是一回事

这是大多数网站所有者忽略的区别。训练指的是你的内容帮助构建未来的模型。回答，Microsoft 称之为 grounding，指的是客户提问的那一刻，AI 助手读取你的页面并附上链接加以引用。新令牌只涉及训练。OpenAI 把两者分开处理：GPTBot 负责训练，而 OAI-SearchBot 决定你的网站能否出现在 ChatGPT 的搜索回答中。Microsoft 走得更远，新增了一项按页面设置的 grounding 偏好，提供三个选项：Allow；DisallowExtended，即只允许 Copilot 等 Microsoft 自有产品使用；以及 Disallow。Microsoft 提醒，限制 grounding 会大幅降低你在 AI 回答中的曝光度，而且无论选择哪一项，都不能保证被收录、带来流量或获得报酬。

Google 是需要特别留意的例外。它的 Google-Extended 设置同时涵盖 Gemini 模型的训练和 Gemini 应用中的 grounding，而且Google 表示，明确允许 Google-Extended 的网站才有资格出现在 Gemini 应用的回答中并获得点击。因此，如果你通过通用令牌拒绝训练，Google 会将其视为禁止 Google-Extended。你仍会留在 Google 搜索中，因为 Google-Extended 不影响那里的收录和排名，但你会失去 Gemini 应用中的 grounding。如果你需要这部分曝光，请明确设置 Google-Extended。想了解 AI 回答如何挑选来源，请阅读如何让你的公司出现在 ChatGPT 中。

你的公司应该拒绝吗？

没有唯一正确的答案，这取决于你的网站上有什么。如果内容本身就是产品，例如付费课程、原创研究、详细的价格表，或者团队撰写的成千上万条商品描述，那么拒绝是合理的。如果网站主要介绍你的服务，而你希望公司名称广为人知，那么允许训练的代价很小。无论哪种情况，都要继续允许搜索和回答类爬虫访问，因为正是它们为你带来客户。

本周要做的五个步骤

  1. 查看你现有的文件。 在浏览器中打开 你的域名.com/robots.txt。检查是否有被遗忘的 User-agent: * 搭配 Disallow: /，或者屏蔽 OAI-SearchBot、Googlebot 或 Bingbot 的规则。
  2. 分开做两个决定。 训练：允许还是拒绝。回答：允许还是拒绝。把决定写下来，免得下一位开发人员把它改回去。
  3. 加入通用令牌，并保留现有规则。 这三家公司目前都还没有开始遵守该令牌，所以请在它旁边保留 GPTBot、ClaudeBot 和 Google-Extended 的规则，直到每家公司都开始遵守为止。Anthropic 的帮助页面仍然把 ClaudeBot 列为拒绝训练的方式。
  4. 检查你的 Bing 标签。 如果你的页面使用了 NoArchive 或 NoCache，请规划在 2027 年 3 月 1 日之前切换到新的偏好设置。
  5. 把所有私密内容放在登录验证之后。 robots.txt 是公开且自愿遵守的信号：草案允许私下协议凌驾于它之上，而且偏好只适用于发布之后抓取的内容，不适用于之前已经收集的内容。

Origami 的观点

多年来，robots.txt 一直是公司里没人记得的文件，由当初建站的人写一次就再没动过。这种情况正在改变：如今它决定你的内容是否会被用来训练 AI 模型、你的页面是否会出现在 AI 回答中，很快还将决定 Microsoft 如何处理每一个页面。一个通用名称，相比每个月都在变长的爬虫名单，是实实在在的进步，但它不能代替决策。我们经常看到的情况是：没有人知道 robots.txt 最后是谁改的，或者内容分发网络屏蔽了网站所有者本想欢迎的爬虫。在 Origami，我们开发网站、平台和定制系统，并把这些设置视为项目的一部分，写成文档并加以审核。如果你希望我们一起检查你的 robots.txt、CDN 规则以及你在 AI 回答中的曝光情况，请联系我们。

资料来源