I principali fornitori di intelligenza artificiale hanno annunciato il sostegno a un segnale comune nel file robots.txt con cui siti e editori possono esprimere la propria preferenza sull’uso dei contenuti per addestrare modelli generativi. L’iniziativa si appoggia al gruppo di lavoro AI Preferences dell’Internet Engineering Task Force, l’organismo che sviluppa standard tecnici aperti per Internet.
OpenAI ha dichiarato che rispetterà il segnale nei prossimi mesi, mantenendo nel frattempo i controlli già esistenti per GPTBot. Microsoft punta a un’implementazione dal 1° febbraio 2027, Google nel corso del 2027, mentre Anthropic ha comunicato di aver iniziato il lavoro tecnico. I calendari non sono identici e possono essere aggiornati.
La novità non trasforma robots.txt in un contratto o in un sistema di autorizzazione tecnica. Il file comunica preferenze ai crawler che scelgono di rispettarlo, ma non impedisce materialmente a un soggetto scorretto di acquisire pagine pubbliche. Per questo restano necessari controllo dei log, protezioni contro traffico anomalo e valutazioni legali nei casi controversi.
Per gli editori italiani il vantaggio potenziale è operativo: un unico comando potrebbe sostituire regole diverse per numerosi operatori. Resta però essenziale distinguere l’addestramento dei modelli dalla ricerca e dall’indicizzazione. OpenAI, per esempio, usa user-agent separati per GPTBot e OAI-SearchBot, così un sito può consentire la visibilità nei risultati e negare l’uso per il training.
La proposta IETF non è ancora uno standard definitivo e l’adesione è volontaria. I dettagli sintattici e l’interpretazione possono cambiare durante il processo di consenso tecnico. Un gestore non dovrebbe quindi rimuovere oggi le direttive specifiche già attive contando su una compatibilità futura non ancora completata.
La conseguenza concreta è l’avvio di una convergenza industriale, non una soluzione immediata a tutte le dispute sul copyright. Per CurioMondo e gli altri editori sarà utile verificare periodicamente la documentazione dei crawler, separare le preferenze per ricerca e addestramento e conservare una copia delle configurazioni applicate.