Se você não quer que empresas de IA treinem seus modelos com o conteúdo do seu site, adicione duas linhas ao arquivo robots.txt do seu site: User-Agent: __usage_ai-training e, logo abaixo, Disallow: /. Em 30 de outubro de 2026, OpenAI, Google e Microsoft anunciaram que vão respeitar esse sinal compartilhado: a Microsoft começa em 1 de fevereiro de 2027, o Google mira 2027 e a OpenAI diz que vai implementá-lo nos próximos meses. O sinal cobre apenas o treinamento, então não tira seu site dos resultados de busca do Google nem do Bing. Até que cada empresa o ative, mantenha os controles atuais dela. Se você leu nosso artigo sobre os novos termos da Meta que permitem que os robôs dela rastreiem o seu site, este é o próximo passo.

O que exatamente foi anunciado?

Até agora, o dono de um site que queria manter seu conteúdo fora do treinamento de modelos precisava saber o nome do rastreador de cada empresa e escrever uma regra separada para ele: GPTBot para a OpenAI, ClaudeBot para a Anthropic, Google-Extended para o Google, e um nome novo a cada empresa nova que surgia. O novo sinal substitui essa lista por um único nome compartilhado. Ele vem de um rascunho de padrão (Internet-Draft) apresentado à Internet Engineering Task Force (IETF), o órgão por trás de muitos padrões técnicos da internet, escrito por Kevin Kelley, da Anthropic, dentro do grupo de trabalho de Preferências de IA da IETF. O rascunho tem data de 30 de outubro de 2026, expira em 3 de maio de 2027 e se destina à trilha de padrões, o que significa que ainda é uma proposta, não um padrão concluído.

A ideia é simples de propósito. O rascunho não acrescenta comandos novos ao robots.txt. Ele usa um grupo comum cuja linha User-Agent traz um nome especial, chamado token de política (policy token), e as regras Allow e Disallow de sempre dizem quais partes do site podem ou não ser usadas. Por exemplo, você pode recusar o treinamento no site inteiro, mas permiti-lo na sua área de imprensa:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

O rascunho define o treinamento de IA como o uso de conteúdo para modificar os parâmetros aprendidos de um modelo de IA generativa, ou seja, um modelo que produz texto, imagens ou outros conteúdos. Modelos usados apenas para classificar, ordenar ou pontuar não estão incluídos.

Quem vai respeitar o sinal, e quando?

Empresa O que anunciou Quando O que continua separado
OpenAI Vai respeitar o sinal compartilhado; seus controles atuais continuam valendo «Nos próximos meses» GPTBot para treinamento, OAI-SearchBot para as respostas de busca do ChatGPT
Google Vai ler um bloqueio feito pelo token como um bloqueio do Google-Extended, a menos que o Google-Extended esteja definido explicitamente Mira 2027 Googlebot para a Pesquisa Google; Google-Extended para o treinamento do Gemini e o grounding
Microsoft Vai respeitar o token e acrescentar uma preferência separada, por página, chamada AI Grounding A partir de 1 de fevereiro de 2027; configurações até 1 de março de 2027 A elegibilidade para os resultados do Bing não muda
Anthropic O autor do rascunho trabalha lá Nenhuma data na página de ajuda dela O ClaudeBot continua sendo o controle documentado dela para treinamento

Dois detalhes dos anúncios importam para qualquer empresa que tenha um site. Primeiro, a Microsoft diz que deixará de ler as antigas tags NoArchive e NoCache como preferências de IA depois de 1 de março de 2027; se o seu site depende delas, publique as novas preferências antes dessa data. As configurações de transição para o grounding abrem no Bing Webmaster Tools em 15 de dezembro de 2026, apenas para sites que já usam essas tags, e expiram em 30 de setembro de 2027. Segundo, o rascunho diz que uma regra geral escrita para todos os rastreadores, User-Agent: *, não conta como preferência de treinamento. Um bloqueio geral não diz «sem treinamento»; só o token nomeado diz.

Treinamento não é o mesmo que aparecer nas respostas

Esta é a distinção que a maioria dos donos de sites não percebe. Treinamento significa que o seu conteúdo ajuda a construir um modelo futuro. Respostas, que a Microsoft chama de grounding, significam que um assistente de IA lê a sua página no momento em que um cliente faz uma pergunta e a cita com um link. O novo token trata apenas do treinamento. A OpenAI mantém as duas coisas separadas: o GPTBot cobre o treinamento, enquanto o OAI-SearchBot decide se o seu site pode aparecer nas respostas de busca do ChatGPT. A Microsoft vai além e acrescenta uma preferência de grounding definida página a página, com três opções: Allow; DisallowExtended, que limita o uso aos próprios produtos da Microsoft, como o Copilot; e Disallow. A Microsoft alerta que restringir o grounding reduz bastante a sua visibilidade nas respostas de IA, e que nenhuma das escolhas garante inclusão, tráfego ou pagamento.

O Google é a exceção a observar. O controle Google-Extended dele cobre tanto o treinamento dos modelos Gemini quanto o grounding nos apps do Gemini, e o Google diz que sites que permitem explicitamente o Google-Extended podem aparecer nas respostas dos apps do Gemini e receber cliques. Então, se você bloquear pelo token compartilhado, o Google tratará isso como um bloqueio do Google-Extended. Você continua na Pesquisa Google, porque o Google-Extended não afeta a inclusão nem o ranqueamento ali, mas abre mão do grounding nos apps do Gemini. Se você quer essa visibilidade, defina o Google-Extended explicitamente. Para entender como as respostas de IA escolhem suas fontes, veja como fazer sua empresa aparecer no ChatGPT.

A sua empresa deve bloquear?

Não existe uma única resposta certa; depende do que o seu site contém. Bloquear faz sentido se o próprio conteúdo é o produto: cursos pagos, pesquisas originais, tabelas de preços detalhadas ou milhares de descrições de produtos escritas pela sua equipe. Permitir custa pouco se o site apresenta os seus serviços e você quer que o nome da sua empresa fique conhecido. Nos dois casos, mantenha liberados os rastreadores de busca e de respostas, porque são eles que trazem clientes.

Cinco passos para esta semana

  1. Leia o seu arquivo atual. Abra seudominio.com/robots.txt em um navegador. Procure um User-agent: * esquecido com Disallow: /, ou uma regra que bloqueie OAI-SearchBot, Googlebot ou Bingbot.
  2. Decida duas coisas separadamente. Treinamento: sim ou não. Respostas: sim ou não. Registre a decisão por escrito para que o próximo desenvolvedor não a desfaça.
  3. Adicione o token compartilhado e mantenha as regras atuais. Nenhuma das três empresas respeita o token ainda, então mantenha suas regras de GPTBot, ClaudeBot e Google-Extended ao lado dele até que cada uma passe a respeitá-lo. A página de ajuda da Anthropic ainda documenta o ClaudeBot como a forma de bloquear.
  4. Verifique suas tags do Bing. Se as suas páginas usam NoArchive ou NoCache, planeje a mudança para as novas preferências antes de 1 de março de 2027.
  5. Coloque tudo o que é privado atrás de um login. O robots.txt é um sinal público e voluntário: o rascunho permite que acordos privados se sobreponham a ele, e uma preferência vale para o que é coletado depois que você a publica, não para o que foi coletado antes.

A visão da Origami

Durante anos, o robots.txt foi um arquivo de que ninguém na empresa se lembrava, escrito uma vez por quem construiu o site. Isso está mudando: agora ele decide se o seu conteúdo treina modelos de IA, se as suas páginas aparecem nas respostas de IA e, em breve, como a Microsoft trata cada página. Um nome compartilhado é um avanço real diante de uma lista de rastreadores que crescia todo mês, mas não substitui uma decisão. O que vemos com frequência é um site em que ninguém sabe quem editou o robots.txt pela última vez, ou uma rede de distribuição de conteúdo que bloqueia rastreadores que o dono queria receber. Na Origami construímos sites, plataformas e sistemas sob medida, e tratamos essas configurações como parte do projeto, registradas por escrito e revisadas. Se você quer revisar juntos o seu robots.txt, as regras da sua CDN e a sua visibilidade na IA, fale conosco.

Fontes