Se non vuoi che le aziende di IA addestrino i loro modelli sui contenuti del tuo sito, aggiungi due righe al file robots.txt del tuo sito: User-Agent: __usage_ai-training e, sotto, Disallow: /. Il 30 ottobre 2026 OpenAI, Google e Microsoft hanno annunciato che rispetteranno questo segnale condiviso: Microsoft inizia il 1 febbraio 2027, Google punta al 2027 e OpenAI dice che lo implementerà nei prossimi mesi. Il segnale riguarda solo l'addestramento, quindi non toglie il tuo sito dai risultati di ricerca di Google o di Bing. Finché ogni azienda non lo attiva, mantieni le sue impostazioni attuali. Se hai letto il nostro articolo sui nuovi termini di Meta che permettono ai suoi bot di scansionare il tuo sito, questo è il passo successivo.

Che cosa è stato annunciato esattamente?

Finora, il proprietario di un sito che voleva tenere i propri contenuti fuori dall'addestramento dei modelli doveva conoscere il nome del crawler di ogni azienda e scrivere per ciascuno una regola separata: GPTBot per OpenAI, ClaudeBot per Anthropic, Google-Extended per Google, e un nome nuovo ogni volta che compariva una nuova azienda. Il nuovo segnale sostituisce quella lista con un unico nome condiviso. Nasce da una bozza (Internet-Draft) presentata all'Internet Engineering Task Force (IETF), l'organismo dietro molti degli standard tecnici di internet, scritta da Kevin Kelley di Anthropic all'interno del gruppo di lavoro IETF sulle preferenze per l'IA. La bozza è datata 30 ottobre 2026, scade il 3 maggio 2027 ed è destinata al percorso degli standard: è quindi ancora una proposta, non uno standard definitivo.

L'idea è volutamente semplice. La bozza non aggiunge nuovi comandi al robots.txt. Usa un normale gruppo la cui riga User-Agent riporta un nome speciale, detto token di policy (policy token), e le solite regole Allow e Disallow indicano quali parti del sito possono essere usate e quali no. Puoi, per esempio, rifiutare l'addestramento su tutto il sito ma consentirlo nella tua area stampa:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

La bozza definisce l'addestramento dell'IA come l'uso di contenuti per modificare i parametri appresi di un modello di IA generativa, cioè un modello che produce testi, immagini o altri contenuti. I modelli usati solo per classificare, ordinare o assegnare punteggi non sono inclusi.

Chi lo rispetterà, e quando?

Azienda Cosa ha annunciato Quando Cosa resta separato
OpenAI Rispetterà il segnale condiviso; le sue impostazioni attuali restano valide «Nei prossimi mesi» GPTBot per l'addestramento, OAI-SearchBot per le risposte di ricerca di ChatGPT
Google Leggerà un rifiuto espresso con il token come un blocco di Google-Extended, salvo che Google-Extended sia impostato esplicitamente Punta al 2027 Googlebot per la Ricerca Google; Google-Extended per l'addestramento di Gemini e il grounding
Microsoft Rispetterà il token e aggiungerà una preferenza separata, pagina per pagina, chiamata AI Grounding Dal 1 febbraio 2027; impostazioni entro il 1 marzo 2027 L'idoneità ai risultati di Bing non cambia
Anthropic L'autore della bozza lavora lì Nessuna data nella sua pagina di assistenza ClaudeBot resta la sua impostazione documentata per l'addestramento

Due dettagli degli annunci contano per qualsiasi azienda con un sito. Primo, Microsoft dice che dopo il 1 marzo 2027 smetterà di leggere i vecchi tag NoArchive e NoCache come preferenze per l'IA; se il tuo sito si basa su di essi, pubblica le nuove preferenze prima di quella data. Le impostazioni di transizione per il grounding si aprono in Bing Webmaster Tools il 15 dicembre 2026, solo per i siti che usano già quei tag, e scadono il 30 settembre 2027. Secondo, la bozza stabilisce che una regola generale scritta per tutti i crawler, User-Agent: *, non vale come preferenza sull'addestramento. Un blocco generale non dice «niente addestramento»; lo dice solo il token con il suo nome.

Addestramento e comparsa nelle risposte non sono la stessa cosa

È la distinzione che sfugge alla maggior parte dei proprietari di siti. Addestramento significa che i tuoi contenuti aiutano a costruire un modello futuro. Le risposte, che Microsoft chiama grounding, significano che un assistente di IA legge la tua pagina nel momento in cui un cliente fa una domanda e la cita con un link. Il nuovo token riguarda solo l'addestramento. OpenAI tiene separate le due cose: GPTBot riguarda l'addestramento, mentre OAI-SearchBot decide se il tuo sito può comparire nelle risposte di ricerca di ChatGPT. Microsoft va oltre e aggiunge una preferenza di grounding da impostare pagina per pagina, con tre opzioni: Allow; DisallowExtended, che limita l'uso ai prodotti di Microsoft stessa come Copilot; e Disallow. Microsoft avverte che limitare il grounding riduce molto la tua visibilità nelle risposte dell'IA e che nessuna delle due scelte garantisce inclusione, traffico o compensi.

Google è l'eccezione da tenere d'occhio. La sua impostazione Google-Extended copre sia l'addestramento dei modelli Gemini sia il grounding nelle app di Gemini, e Google dice che i siti che consentono esplicitamente Google-Extended possono comparire nelle risposte delle app di Gemini e ricevere clic. Quindi, se rifiuti tramite il token condiviso, Google lo tratterà come un blocco di Google-Extended. Resti nella Ricerca Google, perché Google-Extended non incide sull'inclusione né sul posizionamento, ma rinunci al grounding nelle app di Gemini. Se vuoi quella visibilità, imposta Google-Extended in modo esplicito. Per capire come le risposte dell'IA scelgono le loro fonti, leggi come far comparire la tua azienda in ChatGPT.

La tua azienda dovrebbe rifiutare?

Non esiste un'unica risposta giusta: dipende da cosa contiene il tuo sito. Rifiutare ha senso se il contenuto stesso è il prodotto: corsi a pagamento, ricerche originali, listini prezzi dettagliati o migliaia di descrizioni di prodotti scritte dal tuo team. Consentire costa poco se il sito presenta i tuoi servizi e vuoi che il nome della tua azienda si diffonda. In entrambi i casi lascia liberi i crawler di ricerca e di risposta, perché sono loro a portarti clienti.

Cinque passi per questa settimana

  1. Leggi il tuo file attuale. Apri tuodominio.it/robots.txt in un browser. Cerca un User-agent: * dimenticato con Disallow: /, oppure una regola che blocca OAI-SearchBot, Googlebot o Bingbot.
  2. Decidi due cose separatamente. Addestramento: sì o no. Risposte: sì o no. Metti la decisione per iscritto, così il prossimo sviluppatore non la annulla.
  3. Aggiungi il token condiviso e mantieni le regole attuali. Nessuna delle tre aziende rispetta ancora il token, quindi mantieni accanto a esso le tue regole per GPTBot, ClaudeBot e Google-Extended finché ognuna non lo farà. La pagina di assistenza di Anthropic indica ancora ClaudeBot come il modo per rifiutare.
  4. Controlla i tuoi tag per Bing. Se le tue pagine usano NoArchive o NoCache, pianifica il passaggio alle nuove preferenze prima del 1 marzo 2027.
  5. Metti tutto ciò che è privato dietro un login. Il robots.txt è un segnale pubblico e volontario: la bozza consente agli accordi privati di prevalere su di esso, e una preferenza vale per ciò che viene raccolto dopo la sua pubblicazione, non per ciò che è stato raccolto prima.

Il punto di vista di Origami

Per anni il robots.txt è stato un file di cui in azienda nessuno si ricordava, scritto una volta da chi aveva costruito il sito. Le cose stanno cambiando: ora decide se i tuoi contenuti addestrano modelli di IA, se le tue pagine compaiono nelle risposte dell'IA e, presto, come Microsoft tratta ogni pagina. Un nome condiviso è un vero passo avanti rispetto a un elenco di crawler che si allungava ogni mese, ma non sostituisce una decisione. Quello che vediamo spesso è un sito in cui nessuno sa chi ha modificato il robots.txt per ultimo, oppure una rete di distribuzione dei contenuti che blocca crawler che il proprietario voleva accogliere. In Origami costruiamo siti, piattaforme e sistemi su misura, e trattiamo queste impostazioni come parte del progetto, messe per iscritto e verificate. Se vuoi far verificare insieme il tuo robots.txt, le regole della tua CDN e la tua visibilità nell'IA, contattaci.

Fonti