Если вы не хотите, чтобы компании в сфере ИИ обучали свои модели на контенте вашего сайта, добавьте в файл robots.txt вашего сайта две строки: User-Agent: __usage_ai-training и под ней Disallow: /. 30 октября 2026 года OpenAI, Google и Microsoft объявили, что будут соблюдать этот общий сигнал: Microsoft начинает 1 февраля 2027 года, Google ориентируется на 2027 год, а OpenAI обещает внедрить его в ближайшие месяцы. Сигнал касается только обучения, поэтому не убирает сайт из результатов поиска Google и Bing. Пока каждая компания его не включит, сохраняйте её действующие настройки. Если вы читали нашу статью о новых условиях Meta, которые разрешают её ботам сканировать ваш сайт, это следующий шаг.

Что именно объявлено?

До сих пор владелец сайта, который хотел исключить свой контент из обучения моделей, должен был знать по имени поискового робота каждой компании и писать для него отдельное правило: GPTBot для OpenAI, ClaudeBot для Anthropic, Google-Extended для Google и новое имя для каждой новой компании. Новый сигнал заменяет этот список одним общим именем. Он взят из черновика (Internet-Draft), поданного в Инженерный совет интернета (IETF) — организацию, которая стоит за многими техническими стандартами интернета. Черновик написал Кевин Келли (Kevin Kelley) из Anthropic в рамках рабочей группы IETF по предпочтениям в отношении ИИ. Черновик датирован 30 октября 2026 года, истекает 3 мая 2027 года и предназначен для пути стандартизации, то есть пока это предложение, а не готовый стандарт.

Идея намеренно простая. Черновик не добавляет в robots.txt новых команд. Он использует обычную группу, в строке User-Agent которой стоит особое имя — токен политики (policy token), а привычные правила Allow и Disallow указывают, какие разделы сайта можно использовать, а какие нельзя. Например, можно запретить обучение на всём сайте, но разрешить его для раздела с материалами для прессы:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Черновик определяет обучение ИИ как использование контента для изменения выученных параметров генеративной модели ИИ, то есть модели, которая создаёт тексты, изображения или другой контент. Модели, которые служат только для классификации, ранжирования или оценки, сюда не входят.

Кто будет его соблюдать и когда?

Компания Что объявила Когда Что остаётся отдельным
OpenAI Будет соблюдать общий сигнал; текущие настройки продолжают действовать «В ближайшие месяцы» GPTBot для обучения, OAI-SearchBot для поисковых ответов ChatGPT
Google Будет считать запрет через токен запретом для Google-Extended, если Google-Extended не задан явно Ориентируется на 2027 год Googlebot для Google Поиска; Google-Extended для обучения Gemini и grounding
Microsoft Будет соблюдать токен и добавит отдельную настройку для каждой страницы под названием AI Grounding С 1 февраля 2027 года; настройки до 1 марта 2027 года Право на показ в результатах Bing не меняется
Anthropic Там работает автор черновика На её странице помощи даты нет ClaudeBot остаётся её документированной настройкой для обучения

Две детали этих объявлений важны для любой компании с сайтом. Во-первых, Microsoft сообщает, что после 1 марта 2027 года перестанет считывать старые теги NoArchive и NoCache как настройки для ИИ; если ваш сайт на них опирается, опубликуйте новые настройки до этой даты. Переходные настройки для grounding откроются в Bing Webmaster Tools 15 декабря 2026 года только для сайтов, которые уже используют эти теги, и истекут 30 сентября 2027 года. Во-вторых, по черновику общее правило для всех роботов, User-Agent: *, не считается настройкой обучения. Сплошная блокировка не говорит «без обучения» — это говорит только именованный токен.

Обучение и появление в ответах — не одно и то же

Именно это различие упускает большинство владельцев сайтов. Обучение означает, что ваш контент помогает создать будущую модель. Ответы, которые Microsoft называет grounding, означают, что ИИ-ассистент читает вашу страницу в тот момент, когда клиент задаёт вопрос, и цитирует её со ссылкой. Новый токен касается только обучения. OpenAI разделяет эти две вещи: GPTBot отвечает за обучение, а OAI-SearchBot решает, может ли ваш сайт появляться в поисковых ответах ChatGPT. Microsoft идёт дальше и добавляет настройку grounding, которая задаётся для каждой страницы отдельно, с тремя вариантами: Allow; DisallowExtended, который ограничивает использование собственными продуктами Microsoft, например Copilot; и Disallow. Microsoft предупреждает, что ограничение grounding заметно снижает вашу заметность в ответах ИИ и что ни один из вариантов не гарантирует ни попадания, ни трафика, ни оплаты.

Google — исключение, за которым стоит следить. Его настройка Google-Extended охватывает и обучение моделей Gemini, и grounding в приложениях Gemini, а Google сообщает, что сайты, которые явно разрешают Google-Extended, могут появляться в ответах приложений Gemini и получать переходы. Поэтому, если вы откажетесь через общий токен, Google будет считать это запретом для Google-Extended. В Google Поиске вы останетесь, потому что Google-Extended не влияет там ни на попадание, ни на ранжирование, но откажетесь от grounding в приложениях Gemini. Если эта заметность вам нужна, задайте Google-Extended явно. О том, как ответы ИИ выбирают источники, читайте в статье как сделать так, чтобы ваша компания появлялась в ChatGPT.

Стоит ли вашей компании отказаться?

Единственно верного ответа нет: всё зависит от того, что содержит ваш сайт. Отказ имеет смысл, если сам контент и есть продукт: платные курсы, оригинальные исследования, подробные прайс-листы или тысячи описаний товаров, написанных вашей командой. Разрешение обходится недорого, если сайт представляет ваши услуги и вы хотите, чтобы название компании было широко известно. В обоих случаях оставляйте доступ поисковым и ответным роботам, потому что именно они приводят клиентов.

Пять шагов на эту неделю

  1. Прочитайте текущий файл. Откройте в браузере вашдомен.ru/robots.txt. Найдите забытое правило User-agent: * с Disallow: / или правило, которое блокирует OAI-SearchBot, Googlebot или Bingbot.
  2. Примите два решения по отдельности. Обучение: да или нет. Ответы: да или нет. Зафиксируйте решение письменно, чтобы следующий разработчик его не отменил.
  3. Добавьте общий токен и сохраните текущие правила. Ни одна из трёх компаний пока не соблюдает токен, поэтому держите рядом с ним правила для GPTBot, ClaudeBot и Google-Extended, пока каждая из них не начнёт. Страница помощи Anthropic по-прежнему называет ClaudeBot способом отказаться.
  4. Проверьте теги для Bing. Если ваши страницы используют NoArchive или NoCache, спланируйте переход на новые настройки до 1 марта 2027 года.
  5. Уберите всё закрытое за авторизацию. robots.txt — публичный и добровольный сигнал: черновик допускает, что частные соглашения имеют над ним приоритет, а настройка действует на то, что загружено после её публикации, а не на собранное раньше.

Взгляд Origami

Годами robots.txt был файлом, о котором в компании никто не помнил: его однажды написал тот, кто делал сайт. Это меняется: теперь файл решает, обучает ли ваш контент модели ИИ, появляются ли ваши страницы в ответах ИИ, а скоро и то, как Microsoft обращается с каждой страницей. Общее имя — настоящий шаг вперёд по сравнению со списком роботов, который рос каждый месяц, но оно не заменяет решения. Мы часто видим сайт, где никто не знает, кто последним правил robots.txt, или сеть доставки контента, которая блокирует роботов, которых владелец хотел пускать. В Origami мы создаём сайты, платформы и системы под заказ и считаем эти настройки частью проекта: они записаны и проверены. Если вы хотите вместе проверить robots.txt, правила CDN и заметность вашей компании в ответах ИИ, свяжитесь с нами.

Источники