Google rejoint OpenAI et Anthropic dans la promesse de nouvelles commandes de récupération de données

Google , Anthropic, OpenAI et Microsoft se sont engagés à respecter une nouvelle directive robots.txt, qui permettra aux éditeurs de spécifier leurs préférences concernant l’extraction de leur contenu à des fins d’entraînement pour l’intelligence artificielle générative. Ces entreprises ont décidé d’adopter une proposition actuellement à l’étude au sein de l’IETF, l’organisme de normalisation ouvert pour Internet, et rédigée par Kevin Kelley, responsable technique des normes chez Anthropic. 

Comme l’ont expliqué OpenAI et Google dans leurs annonces, les propriétaires de sites web doivent actuellement identifier chaque robot d’exploration et ajouter des règles distinctes pour chacun d’eux. La proposition de Kelley changera la donne en incitant plusieurs entreprises d’IA à reconnaître et à respecter un signal commun. Les éditeurs devront configurer un nouvel agent utilisateur dans le fichier robots.txt, dédié à l’entraînement des robots d’exploration, qui ressemblera à ceci :

Cela bloquera les robots d’exploration spécifiquement conçus pour collecter des données destinées à l’entraînement de l’IA. La section « Autoriser » offre aux exploitants de sites web la possibilité d’autoriser l’extraction de données à des fins d’entraînement de l’IA pour certaines parties de la page, par exemple si celle-ci contient un dossier de presse. Toutefois, cette nouvelle section relative à l’agent utilisateur n’empêche pas totalement l’exploration des sites web ni l’affichage du contenu dans les résultats de recherche Google. Par exemple, Google l’interprétera comme un blocage spécifique pour l’agent utilisateur « Google-Extended », qui explore les sites web à la recherche de ressources pour l’entraînement des modèles Gemini. 

Il est important de noter que cette directive ne peut pas annuler les extractions de données déjà effectuées par les entreprises. Si elles ont déjà exploré une page, elles en possèdent déjà le contenu. Cette directive les empêchera simplement d’extraire des données de sites web ou de pages spécifiques à l’avenir. Anthropic prend déjà en charge cette nouvelle directive, tandis que Microsoft a annoncé qu’elle le ferait à compter du 1er février 2027. Google a également indiqué qu’elle la prendrait en charge début 2027, et OpenAI s’est engagée à implémenter ce nouveau signal dans les prochains mois. 

https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out