Si no quieres que las empresas de IA entrenen sus modelos con el contenido de tu web, añade dos líneas al archivo robots.txt de tu sitio: User-Agent: __usage_ai-training y, debajo, Disallow: /. El 30 de octubre de 2026, OpenAI, Google y Microsoft anunciaron que respetarán esta señal compartida: Microsoft empieza el 1 de febrero de 2027, Google apunta a 2027 y OpenAI dice que la implementará en los próximos meses. La señal solo cubre el entrenamiento, así que no saca tu web de los resultados de búsqueda de Google ni de Bing. Hasta que cada empresa la active, mantén sus controles actuales. Si leíste nuestro artículo sobre las nuevas condiciones de Meta que permiten a sus bots rastrear tu web, este es el siguiente paso.

¿Qué se anunció exactamente?

Hasta ahora, el propietario de una web que quería mantener su contenido fuera del entrenamiento de modelos tenía que conocer el nombre del rastreador de cada empresa y escribirle una regla aparte: GPTBot para OpenAI, ClaudeBot para Anthropic, Google-Extended para Google, y un nombre nuevo cada vez que aparecía una empresa nueva. La nueva señal sustituye esa lista por un único nombre compartido. Procede de un borrador de internet (Internet-Draft) presentado ante el Internet Engineering Task Force (IETF), el organismo detrás de muchos de los estándares técnicos de internet, redactado por Kevin Kelley, de Anthropic, dentro del grupo de trabajo de Preferencias de IA del IETF. El borrador está fechado el 30 de octubre de 2026, caduca el 3 de mayo de 2027 y aspira a la vía de estándares, lo que significa que todavía es una propuesta, no un estándar terminado.

La idea es deliberadamente sencilla. El borrador no añade comandos nuevos a robots.txt. Usa un grupo normal cuya línea User-Agent lleva un nombre especial, llamado token de política (policy token), y las reglas Allow y Disallow de siempre indican qué partes del sitio pueden usarse y cuáles no. Por ejemplo, puedes rechazar el entrenamiento en todo el sitio pero permitirlo en tu sala de prensa:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

El borrador define el entrenamiento de IA como el uso de contenido para modificar los parámetros aprendidos de un modelo de IA generativa, es decir, un modelo que produce texto, imágenes u otros contenidos. Los modelos que solo se usan para clasificar, ordenar o puntuar no están incluidos.

¿Quién la respetará y cuándo?

Empresa Qué anunció Cuándo Qué sigue separado
OpenAI Respetará la señal compartida; sus controles actuales siguen vigentes «En los próximos meses» GPTBot para el entrenamiento, OAI-SearchBot para las respuestas de búsqueda de ChatGPT
Google Leerá una exclusión mediante el token como un bloqueo de Google-Extended, salvo que Google-Extended esté configurado explícitamente Apunta a 2027 Googlebot para la Búsqueda de Google; Google-Extended para el entrenamiento de Gemini y el grounding
Microsoft Respetará el token y añadirá una preferencia aparte, página por página, llamada AI Grounding Desde el 1 de febrero de 2027; ajustes antes del 1 de marzo de 2027 La elegibilidad para los resultados de Bing no cambia
Anthropic El autor del borrador trabaja allí Sin fecha en su página de ayuda ClaudeBot sigue siendo su control documentado para el entrenamiento

Dos detalles de los anuncios importan a cualquier empresa con web. Primero, Microsoft dice que dejará de leer las antiguas etiquetas NoArchive y NoCache como preferencias de IA después del 1 de marzo de 2027; si tu web depende de ellas, publica las nuevas preferencias antes de esa fecha. Los ajustes de transición para el grounding se abren en Bing Webmaster Tools el 15 de diciembre de 2026, solo para los sitios que ya usan esas etiquetas, y caducan el 30 de septiembre de 2027. Segundo, el borrador establece que una regla general escrita para todos los rastreadores, User-Agent: *, no cuenta como preferencia de entrenamiento. Un bloqueo general no dice «sin entrenamiento»; solo el token con nombre lo dice.

Entrenar no es lo mismo que aparecer en las respuestas

Esta es la distinción que se les escapa a la mayoría de los propietarios de webs. El entrenamiento significa que tu contenido ayuda a construir un modelo futuro. Las respuestas, que Microsoft llama grounding, significan que un asistente de IA lee tu página en el momento en que un cliente hace una pregunta y la cita con un enlace. El nuevo token solo trata del entrenamiento. OpenAI mantiene ambas cosas separadas: GPTBot cubre el entrenamiento, mientras que OAI-SearchBot decide si tu web puede aparecer en las respuestas de búsqueda de ChatGPT. Microsoft va más allá y añade una preferencia de grounding que se configura página por página, con tres opciones: Allow; DisallowExtended, que limita el uso a los propios productos de Microsoft, como Copilot; y Disallow. Microsoft advierte de que restringir el grounding reduce mucho tu visibilidad en las respuestas de IA, y de que ninguna de las dos opciones garantiza inclusión, tráfico ni pago.

Google es la excepción que hay que vigilar. Su control Google-Extended cubre tanto el entrenamiento de los modelos Gemini como el grounding en las apps de Gemini, y Google dice que los sitios que permiten Google-Extended de forma explícita pueden aparecer en las respuestas de las apps de Gemini y recibir clics. Así que, si te excluyes mediante el token compartido, Google lo tratará como un bloqueo de Google-Extended. Sigues en la Búsqueda de Google, porque Google-Extended no afecta a la inclusión ni al posicionamiento allí, pero renuncias al grounding en las apps de Gemini. Si quieres esa visibilidad, configura Google-Extended de forma explícita. Para saber cómo eligen sus fuentes las respuestas de IA, consulta cómo hacer que tu empresa aparezca en ChatGPT.

¿Debería tu empresa excluirse?

No hay una única respuesta correcta; depende de lo que contenga tu web. Excluirse tiene sentido si el propio contenido es el producto: cursos de pago, investigación original, listas de precios detalladas o miles de descripciones de productos escritas por tu equipo. Permitirlo cuesta poco si la web presenta tus servicios y quieres que el nombre de tu empresa se conozca. En ambos casos, deja permitidos los rastreadores de búsqueda y de respuestas, porque son los que te traen clientes.

Cinco pasos para esta semana

  1. Lee tu archivo actual. Abre tudominio.com/robots.txt en un navegador. Busca un User-agent: * olvidado con Disallow: /, o una regla que bloquee OAI-SearchBot, Googlebot o Bingbot.
  2. Decide dos cosas por separado. Entrenamiento: sí o no. Respuestas: sí o no. Deja la decisión por escrito para que el próximo desarrollador no la deshaga.
  3. Añade el token compartido y mantén las reglas actuales. Ninguna de las tres empresas respeta todavía el token, así que mantén tus reglas de GPTBot, ClaudeBot y Google-Extended junto a él hasta que cada una lo haga. La página de ayuda de Anthropic sigue documentando ClaudeBot como la forma de excluirse.
  4. Revisa tus etiquetas de Bing. Si tus páginas usan NoArchive o NoCache, planifica el paso a las nuevas preferencias antes del 1 de marzo de 2027.
  5. Pon todo lo privado detrás de un inicio de sesión. robots.txt es una señal pública y voluntaria: el borrador permite que los acuerdos privados la anulen, y una preferencia se aplica a lo que se descarga después de publicarla, no a lo que se recogió antes.

La opinión de Origami

Durante años, robots.txt fue un archivo que nadie en la empresa recordaba, escrito una vez por quien construyó la web. Eso está cambiando: ahora decide si tu contenido entrena modelos de IA, si tus páginas aparecen en las respuestas de IA y, pronto, cómo trata Microsoft cada página. Un nombre compartido es un avance real frente a una lista de rastreadores que crecía cada mes, pero no sustituye a una decisión. Lo que vemos a menudo es una web en la que nadie sabe quién editó robots.txt por última vez, o una red de distribución de contenidos que bloquea rastreadores que el propietario quería recibir. En Origami construimos webs, plataformas y sistemas a medida, y tratamos estos ajustes como parte del desarrollo, por escrito y revisados. Si quieres que revisemos juntos tu robots.txt, tus reglas de CDN y tu visibilidad en la IA, contáctanos.

Fuentes