网络刚刚跨越了一条历史性界线，而您的网站正处于其中

在互联网历史上，机器产生的网络流量首次超过了人类。2026 年 6 月 3 日，Cloudflare 首席执行官 Matthew Prince 分享了 Radar 数据，显示自动化请求已达到网络流量的 57.5%，而来自人类的流量为 42.5%。对任何企业主来说，简短的答案是：访问您网站的大多数"访客"已不再是客户，而是机器人，其中快速增长的一部分是为 ChatGPT、Gemini 和 Claude 等回答引擎提供数据的 AI 爬虫。这既是需要控制的成本，也是值得把握的机会。

到底发生了什么变化？

这一转变之快令人瞩目。2026 年 3 月，Prince 曾预测机器人流量将在 2027 年前超过人类流量。结果提前了大约十八个月。在生成式 AI 时代之前，机器人的存在感要低得多：约占网络流量的 20%，且以 Googlebot 等搜索引擎为主。如今，根据 Cloudflare Radar 的数据，仅 AI 爬虫就占已验证机器人流量的约 20%，其中 OpenAI 的 GPTBot 和 Anthropic 的 ClaudeBot 最为活跃，而 Googlebot 仍是规模最大的单一爬虫。

为什么会这样？

推动力是智能体 AI。一个人选购相机时，可能会打开五个网站。而当 AI 智能体代表用户完成同样的任务时，它可能访问数千个页面来收集和比较信息。再乘以每天数以百万计的 AI 查询，结果显而易见：自主软件如今浏览网络的规模，是任何人类群体都无法企及的。这不是暂时的高峰，而是新的常态。

这对您的企业网站为何重要

这一趋势会从四个具体方面影响您的业务：

  • 分析数据失真：如果机器人虚增了您的流量数字，您就是在依据虚构的数据做决策。除非过滤掉机器人流量，否则转化率、跳出率和营销活动结果都会变得不可靠。
  • 基础设施成本上升：每一次机器人请求都会消耗带宽和服务器资源。激进的爬虫可能让真实客户访问您的网站时变慢，或推高您的托管费用。
  • 内容与安全风险：并非所有机器人都是友好的。抓取程序会窃取价格和内容，而恶意机器人会探测漏洞、尝试撞库攻击或囤积库存。
  • 可见度的机会：优质 AI 爬虫是您的企业出现在 AI 回答中的途径。如果 GPTBot 和 ClaudeBot 无法读取您的网站，那么当客户向助手寻求推荐时，您根本不会被引用。

新规则：不是"屏蔽所有机器人"

过去的本能是把每个机器人都当作威胁。如今这已是一个错误。真正的任务是区分您想要的机器人和不想要的机器人。您需要能为您带来可见度和客户的搜索爬虫与 AI 爬虫。您不需要抓取程序和攻击者。Cloudflare 自己也已超越简单的"机器人与人类"二分法，转而通过 Web Bot Auth 以及经签名验证的机器人身份等方法，来验证哪些自动化客户端是合法的。

实用的机器人管理指南

  • 有意识地控制爬虫访问：使用 robots.txt 欢迎您想要的 AI 爬虫（GPTBot、ClaudeBot、PerplexityBot、Googlebot），并禁止不想要的爬虫。要有意为之，而不是听之任之。
  • 在前端部署机器人管理层：WAF 或机器人管理服务可以识别经过验证的机器人，对激进的机器人限速，并在恶意流量到达源服务器之前将其拦截。
  • 清理您的分析数据：过滤已知机器人，使报告反映真实的人类行为，并单独跟踪 AI 爬虫的访问，以衡量您在 AI 回答中的影响力。
  • 让网站便于机器读取：加载快速、结构清晰、标题明确并带有结构化数据的页面，能帮助优质 AI 爬虫理解您并准确引用您。
  • 保护有价值的资产：对 API 限速，保护登录和结账流程免受自动化滥用，并留意异常的流量模式。
问题不再是"如何把机器人挡在网站之外？"，而是"欢迎哪些机器、屏蔽哪些机器，以及如何区分它们？"

Origami 如何在构建中考虑这一点

我们设计和构建的企业网站与平台，从第一天起就为机器占多数的网络做好准备：具备机器人感知能力的基础设施、干净可信的分析数据、针对恶意自动化的防护，以及优质 AI 爬虫能够读取的快速、结构化页面，让您的企业出现在 AI 回答中。目标很简单：把坏机器人挡在门外，让有价值的机器人进来，把网络流量的结构性转变变成优势而非成本。

参考来源