Robots.txt e addestramento delle IA: come funziona il nuovo segnale comune e cosa può fare chi ha un sito WordPress
Informazioni aggiornate al 31 ottobre 2026.
Che cosa è stato annunciato
Il 30 ottobre 2026 OpenAI e Google hanno annunciato, con post ufficiali, che rispetteranno un segnale comune nel file robots.txt: un modo per dire a più aziende di intelligenza artificiale, con un’unica indicazione, se i contenuti di un sito possono essere usati per addestrare i modelli di IA generativa. OpenAI lo presenta come uno sforzo volontario, pensato per comunicare la stessa preferenza a più fornitori in una volta, invece di mantenere regole separate per ogni crawler.
Anche Microsoft, sul blog di Bing, ha annunciato che lo rispetterà; per Anthropic, l’autore della proposta, Kevin Kelley, ha scritto alla mailing list della IETF che l’azienda ha già iniziato a implementarlo. Secondo The Verge, Meta ha espresso sostegno senza dire se lo applicherà.
Una proposta, non ancora uno standard
Il segnale nasce dal lavoro del gruppo AI Preferences (AIPREF) della IETF, l’organismo che sviluppa gli standard tecnici di Internet. Il testo di riferimento è l’Internet-Draft «Machine-Readable Training Preference Signal», firmato dallo stesso Kelley, datato 30 ottobre 2026 e con scadenza il 3 maggio 2027.
Va detto con chiarezza: non è uno standard. È un Internet-Draft individuale, non adottato dal gruppo di lavoro, e la pagina ufficiale della IETF precisa che non ha l’avallo della IETF e non ha valore formale nel processo di standardizzazione. Come ogni Internet-Draft, può essere aggiornato, sostituito o superato. Anche Google lo definisce una proposta in bozza e dice di voler continuare a perfezionarla nel gruppo di lavoro della IETF.
Google scrive inoltre che la proposta è coerente con il Codice di buone pratiche dell’Unione europea per i fornitori di modelli di IA per finalità generali, legato all’AI Act, che riconosce il robots.txt come uno dei metodi principali con cui chi pubblica sul web esprime preferenze leggibili dalle macchine.
Come si scrive
Il meccanismo usa la struttura che il robots.txt ha già. Si crea un gruppo dedicato a un policy token, un’etichetta che indica uno scopo invece di un singolo crawler. Il token definito nel draft è __usage_ai-training, con due trattini bassi all’inizio. Questo è l’esempio riportato nel draft:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/La riga Disallow esprime una preferenza contraria all’addestramento per tutto il sito; la riga Allow crea un’eccezione per la cartella /press-kit/, per la quale la preferenza è favorevole. La cartella è solo un esempio.
Due dettagli contano più degli altri. Il gruppo User-Agent: *, quello che molti siti usano per dare regole a tutti i crawler, non vale per il token: il draft stabilisce che non deve essere interpretato come riferito a esso. E se nel file non c’è alcun gruppo con __usage_ai-training, nessuna preferenza è espressa. In pratica, un robots.txt che contiene solo regole con l’asterisco non dice nulla sull’addestramento, secondo questo meccanismo.
Cosa fa e cosa non fa
Il segnale riguarda l’uso dei contenuti per addestrare modelli di IA generativa. Non è un’istruzione sulla raccolta delle pagine: il draft lo dice esplicitamente e lascia invariate le regole già scritte per i singoli crawler. Chi vuole limitare l’accesso dei bot può continuare a usare i gruppi dedicati a ciascuno di essi. Il draft consente però a un’azienda di tenere conto della preferenza anche per decidere che cosa scaricare.
Non regola direttamente la comparsa nelle risposte delle IA, ma con Google può incidere: Google intende trattare il no espresso con il token come un blocco di Google-Extended, che vale anche per il grounding nelle app Gemini, cioè l’uso dei contenuti come fonte per rispondere; in quelle risposte possono comparire i siti che consentono esplicitamente Google-Extended. Microsoft annuncia preferenze distinte per addestramento e grounding, senza effetti sui risultati di Bing.
Infine, è un segnale volontario: produce effetti se e quando le aziende lo applicano, e il draft prevede che accordi privati possano prevalere sulle preferenze espresse in questo modo.
I tempi: ogni azienda con il suo calendario
Google spiega che, se un sito usa il token per escludere l’addestramento e non indica Google-Extended, lo interpreterà come se avesse bloccato Google-Extended, il controllo per l’addestramento che offre dal 2023. L’obiettivo dichiarato è supportare il nuovo segnale all’inizio del 2027. OpenAI scrive di volerlo implementare nei prossimi mesi e precisa che i suoi controlli già presenti nel robots.txt continueranno a valere.
Microsoft lo applicherà dal 1° febbraio 2027, man mano che i suoi crawler ripasseranno sulle pagine. Per Anthropic, Kelley parla di un’implementazione già iniziata che richiederà tempo, senza indicare date.
Mini checklist per chi ha un sito WordPress
- Decidere prima che cosa si vuole. Escludere l’addestramento, consentirlo o fare eccezioni per alcune sezioni sono scelte diverse. La visibilità nelle risposte delle IA è una domanda separata, che dipende da altri controlli, come Google-Extended.
- Individuare dove si modifica il file. Su WordPress il robots.txt si gestisce, per esempio, con un plugin SEO come Yoast oppure dal pannello dell’hosting.
- Copiare la sintassi da una fonte ufficiale. Il token va scritto esattamente
__usage_ai-training, con due trattini bassi: il draft non ammette varianti, a parte maiuscole e minuscole. - Lasciare al loro posto le regole esistenti. Il nuovo gruppo si aggiunge a quelli per i singoli crawler, come Google-Extended, e non li sostituisce.
- Verificare il file pubblico. Aprire nel browser l’indirizzo del sito seguito da /robots.txt e controllare che il gruppo compaia come previsto.
- Ricontrollare nel tempo. Il draft può cambiare e i tempi delle aziende sono diversi: conviene rivedere la scelta quando arrivano aggiornamenti ufficiali.
Fonti citate
| N. | Fonte | Data | URL | Uso nell’articolo |
|---|---|---|---|---|
| 1 | OpenAI, «Making it easier for websites to express AI training preferences» | 30/10/2026 | https://openai.com/index/helping-websites-express-ai-training-preferences/ | Annuncio, carattere volontario, implementazione nei prossimi mesi, controlli esistenti mantenuti |
| 2 | Google Search Central Blog, «Supporting a shared AI training control for websites» (John Mueller) | 30/10/2026 | https://developers.google.com/search/blog/2026/10/ai-training-control | Annuncio, interpretazione come Google-Extended, grounding nelle app Gemini, Codice di buone pratiche UE, obiettivo 2027 |
| 3 | IETF, Internet-Draft draft-kelley-aipref-training-preference-signal-00 (K. Kelley, Anthropic) | 30/10/2026, scadenza 3/5/2027 | https://www.ietf.org/archive/id/draft-kelley-aipref-training-preference-signal-00.txt | Token, esempio robots.txt, gruppo con asterisco, nessuna preferenza senza token, indipendenza dalle regole sui crawler, accordi privati |
| 4 | IETF Datatracker, scheda del documento | aggiornata il 30/10/2026 | https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/ | Internet-Draft individuale, non adottato dal gruppo di lavoro, senza l’avallo della IETF e senza valore formale nel processo di standardizzazione |
| 5 | The Verge, Emma Roth (ripresa) | 30/10/2026 | https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out | Solo come ripresa: posizione di Meta |
| 6 | Bing Blog, «Your content, your choice: clearer preferences for training and grounding» (Krishna Madhavan, Microsoft) | 30/10/2026 | https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/ | Adesione di Microsoft, applicazione dal 1° febbraio 2027, preferenze distinte per addestramento e grounding, nessun effetto sui risultati di Bing |
| 7 | IETF, mailing list ai-control, «New draft: draft-kelley-aipref-training-preference-signal-00» (Kevin Kelley) | 30/10/2026 | https://mailarchive.ietf.org/arch/msg/ai-control/mddjatOxSR0h6GmLRBWlc839c7w/ | Anthropic ha iniziato a implementare il supporto; servirà tempo per tutti i servizi |
| 8 | Google, documentazione dei crawler (Google-Extended) | aggiornata il 30/10/2026 | https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers | Google-Extended vale anche per il grounding nelle app Gemini; supporto previsto all’inizio del 2027 |
Immagine di copertina generata con IA (Grok Bot) e composta dalla redazione.