Интернет только что пересек историческую черту, и ваш сайт оказался в самом центре

Впервые в истории интернета машины генерируют больше веб-трафика, чем люди. 3 июня 2026 года генеральный директор Cloudflare Мэттью Принс поделился данными Radar, согласно которым автоматизированные запросы достигли 57,5% веб-трафика против 42,5% от людей. Короткий ответ для любого владельца бизнеса: большинство "посетителей" вашего сайта уже не клиенты, а боты, и быстро растущую их долю составляют ИИ-краулеры, которые питают ответные системы вроде ChatGPT, Gemini и Claude. Это одновременно и затраты, которые нужно контролировать, и возможность, которую нужно использовать.

Что именно изменилось?

Поразительно, как быстро произошел этот сдвиг. В марте 2026 года Принс предсказывал, что бот-трафик обгонит человеческий к 2027 году. Это случилось примерно на восемнадцать месяцев раньше. До эпохи генеративного ИИ боты были менее заметны: около 20% веб-трафика, где доминировали поисковые системы вроде Googlebot. Сегодня, по данным Cloudflare Radar, одни только ИИ-краулеры составляют около 20% трафика проверенных ботов, причем GPTBot от OpenAI и ClaudeBot от Anthropic входят в число самых активных, а Googlebot остается крупнейшим отдельным краулером.

Почему это происходит?

Движущая сила — агентный ИИ. Когда человек выбирает фотоаппарат, он, возможно, откроет пять сайтов. Когда ИИ-агент выполняет ту же задачу от имени пользователя, он может посетить тысячи страниц, чтобы собрать и сравнить информацию. Умножьте это на миллионы ежедневных запросов к ИИ, и вывод неизбежен: автономное программное обеспечение теперь просматривает интернет в масштабах, с которыми не сравнится никакое человеческое население. Это не временный всплеск, а новая норма.

Почему это важно для сайта вашей компании

Эта тенденция затрагивает ваш бизнес четырьмя конкретными способами:

  • Искаженная аналитика: если боты раздувают показатели трафика, вы принимаете решения на основе вымысла. Коэффициенты конверсии, отказов и результаты кампаний становятся ненадежными, пока бот-трафик не отфильтрован.
  • Более высокие расходы на инфраструктуру: каждый запрос бота расходует пропускную способность и ресурсы сервера. Агрессивные краулеры могут замедлять сайт для реальных клиентов или раздувать счет за хостинг.
  • Риски для контента и безопасности: не все боты дружелюбны. Скрейперы крадут цены и контент, а вредоносные боты ищут уязвимости, пытаются проводить атаки с подбором учетных данных или скупают товарные запасы.
  • Возможность для видимости: хорошие ИИ-краулеры — это путь, по которому ваша компания попадает в ИИ-ответы. Если GPTBot и ClaudeBot не могут прочитать ваш сайт, вас просто не процитируют, когда клиент попросит у ассистента рекомендацию.

Новое правило: не "блокировать всех ботов"

Старый инстинкт подсказывал считать угрозой любого бота. Сегодня это ошибка. Настоящая задача — отличать нужных вам ботов от ненужных. Вам нужны поисковые и ИИ-краулеры, которые приносят видимость и клиентов. Вам не нужны скрейперы и злоумышленники. Сама Cloudflare отошла от простого противопоставления "боты против людей" к проверке того, какие автоматизированные клиенты легитимны, с помощью таких подходов, как Web Bot Auth и подписанные проверенные идентификаторы ботов.

Практическое руководство по управлению ботами

  • Осознанно контролируйте доступ краулеров: используйте robots.txt, чтобы пропускать нужные вам ИИ-краулеры (GPTBot, ClaudeBot, PerplexityBot, Googlebot) и запрещать ненужные. Принимайте это решение намеренно, а не случайно.
  • Поставьте перед сайтом слой управления ботами: WAF или сервис управления ботами может распознавать проверенных ботов, ограничивать частоту запросов агрессивных и блокировать вредоносный трафик до того, как он дойдет до вашего исходного сервера.
  • Очистите аналитику: отфильтруйте известных ботов, чтобы отчеты отражали реальное поведение людей, и отслеживайте обращения ИИ-краулеров отдельно, чтобы измерять свое присутствие в ИИ-ответах.
  • Сделайте сайт читаемым для машин: быстрые, хорошо структурированные страницы с понятными заголовками и структурированными данными помогают хорошим ИИ-краулерам понимать вас и точно цитировать.
  • Защищайте то, что ценно: ограничивайте частоту запросов к API, защищайте вход и оформление заказа от автоматизированных злоупотреблений и следите за необычными паттернами трафика.
Вопрос уже не в том, "как не пустить ботов на мой сайт?". Вопрос в том, "каких машин я впускаю, каких блокирую и как их различать?"

Как Origami учитывает это в своей работе

Мы проектируем и создаем корпоративные сайты и платформы, готовые к интернету, где большинство составляют машины, с первого дня: инфраструктура, учитывающая ботов, чистая и надежная аналитика, защита от вредоносной автоматизации и быстрые структурированные страницы, которые могут читать хорошие ИИ-краулеры, чтобы ваша компания появлялась в ИИ-ответах. Цель проста: не пускать плохих ботов, впускать ценных и превратить структурный сдвиг в веб-трафике в преимущество, а не в затраты.

Источники