Les sites Web bloquent les mauvais scrapers d'IA (parce que les entreprises d'IA continuent d'en créer de nouveaux)
infohightech ·
Des centaines de sites Web qui tentent d'empêcher la société d'IA Anthropic de récupérer (scraper en anglais) leur contenu bloquent les mauvais robots, apparemment parce qu'ils copient/collent des instructions obsolètes dans leurs fichiers robots.txt, et parce que les entreprises lancent constamment de nouveaux robots d'exploration d'IA avec des noms différents qui ne seront bloqués que si les propriétaires de sites Web mettent à jour leur robots.txt.
En particulier, ces sites bloquent deux robots qui ne sont plus utilisés par l'entreprise, tout en laissant sans le savoir le véritable (et nouveau) robot scraper d'Anthropic débloqué.
C’est un exemple de « l’ampleur du désordre qui règne actuellement dans le paysage des robots.txt », a déclaré à 404 Media l’ opérateur anonyme de Dark Visitors . Dark Visitors est un site Web qui suit l’évolution constante des robots d’exploration et des scrapers Web, dont beaucoup sont exploités par des sociétés d’IA, et qui aide les propriétaires de sites Web à mettre à jour régulièrement leurs fichiers robots.txt pour empêcher certains types de scraping. Le site a connu une énorme augmentation de popularité à mesure que de plus en plus de personnes tentent d’empêcher l’IA de scrapper leur travail.
« L'écosystème des agents évolue rapidement, il est donc pratiquement impossible pour les propriétaires de sites Web de suivre manuellement le rythme. Par exemple, Apple (Applebot-Extended) et Meta (Meta-ExternalAgent) viennent d'en ajouter de nouveaux le mois dernier et la semaine dernière, respectivement », ont-ils ajouté.
Dark Visitors suit des centaines de robots d'exploration et de scraping Web , tente d'expliquer ce que fait chaque scraper et permet aux propriétaires de sites Web de mettre à jour en permanence le fichier robots.txt de leur site, qui est un ensemble d'instructions indiquant aux robots s'ils ont l'autorisation d'explorer un site. Nous avons vu à maintes reprises que les sociétés d'IA trouvent souvent des moyens subreptices d'explorer des sites qu'elles ne sont pas censées explorer ou, dans certains cas, ignorent tout simplement le fichier robots.txt.
Cela a conduit certains sites à bloquer tous les robots d'exploration, quelle que soit leur activité, ou à n'en autoriser que quelques-uns (Reddit n'est désormais exploré que par Google à cause de cela ). Cela peut avoir pour effet de bloquer les moteurs de recherche, les outils d'archivage Internet et la recherche universitaire, même si ce n'était pas l'intention du propriétaire du site Web.
Dans le cas d’Anthropic, les fichiers robots.txt de certains sites Web populaires, dont Reuters.com et la famille de sites Web Condé Nast, bloquent deux robots de scraping d’IA appelés « ANTHROPIC-AI » et « CLAUDE-WEB », qui étaient autrefois la propriété d’Anthropic et utilisés par son chatbot Claude AI. Mais le robot d’exploration actuel et actif d’Anthropic s’appelle « CLAUDEBOT ». Ni Reuters ni Condé Nast, par exemple, ne bloquent CLAUDEBOT. Cela signifie que ces sites Web – et des centaines d’autres qui ont copié-collé d’anciennes listes de blocage – ne bloquent pas réellement Anthropic.
La semaine dernière, le site de guides de réparation iFixit a déclaré que les robots d’exploration d’Anthropic avaient atteint son site Web près d’un million de fois en une journée, et le service de déploiement de documentation de codage Read the Docs a publié un article de blog indiquant que plusieurs robots d’exploration avaient atteint ses serveurs à grande échelle . Un robot d’exploration, a-t-il déclaré, a accédé à 10 To de fichiers en une seule journée et à 73 To au total en mai : « Cela nous a coûté plus de 5 000 $ en frais de bande passante, et nous avons dû bloquer le robot d’exploration », ont-ils écrit. « Nous demandons à toutes les entreprises d’IA d’être plus respectueuses des sites qu’elles explorent. Elles risquent de se voir bloquer par de nombreux sites pour abus, sans tenir compte des autres problèmes de droits d’auteur et de morale qui sont en jeu dans l’industrie. »
Les résultats d’Anthropic ont été publiés dans un article de la Data Provenance Initiative qui montre plus largement la confusion généralisée à laquelle sont confrontés les créateurs de contenu et les propriétaires de sites Web lorsqu’ils tentent d’empêcher les outils d’IA de s’entraîner sur leur travail. La responsabilité de bloquer les scrapers d’IA incombe entièrement aux propriétaires de sites Web, et le nombre de scrapers ne cesse d’augmenter. De nouveaux robots scrapers, souvent appelés « agents utilisateurs », apparaissent sans cesse, les entreprises d’IA ignorent parfois les souhaits exprimés par les propriétaires de sites Web, et les robots qui semblent liés à des entreprises bien connues ne le sont parfois pas du tout.
Dans son article, la Data Provenance Initiative écrit que « l’origine et la raison de ces agents non reconnus [ANTHROPIC-AI et CLAUDE-WEB] restent floues – Anthropic ne déclare pas en être le propriétaire ». À l’origine, la Data Provenance Initiative n’était pas sûre que ces robots soient exploités par Anthropic, et il n’existe pas beaucoup de preuves publiques de l’existence d’ANTHROPIC-AI, en dehors du fait qu’il a été largement diffusé sur les listes de blocage robots.txt, qui sont souvent copiées-collées d’un site à l’autre.
Anthropic a déclaré à 404 Media que ANTHROPIC-AI et CLAUDE-WEB étaient tous deux d'anciens robots d'indexation utilisés autrefois par l'entreprise mais qui ne sont plus utilisés. Anthropic n'a pas répondu à une question sur le fait de savoir si le véritable agent, CLAUDEBOT, respectait le fichier robots.txt pour les sites qui ont bloqué CLAUDE-WEB ou ANTHROPIC-AI, ou à quel moment le changement a été effectué. Mais l'opérateur de Dark Visitors a déclaré que CLAUDE-WEB était en activité jusqu'à très récemment et qu'il avait vu CLAUDE-WEB sur son site Web de test pas plus tard que le 12 juillet.
« Ces incohérences et omissions entre les agents d'IA suggèrent qu'une charge importante est imposée au créateur du domaine pour comprendre l'évolution des spécifications des agents parmi (un nombre croissant de) développeurs », note le rapport de la Data Provenance Initiative.
Shayne Longpre, l'auteur principal de l'étude, a expliqué que « de très nombreux sites Web indiquent qu'ils bloquent les faux agents anthropiques, mais ils ne mentionnent pas CLAUDEBOT, le véritable agent anthropique. Cela signifie donc que les sites Web ne bloquent pas réellement les robots d'exploration qu'ils pensent bloquer ».
Robb Knight, un développeur de logiciels qui a découvert que Perplexity contournait le fichier robots.txt pour récupérer des sites Web qu'il n'était pas censé récupérer, a déclaré à 404 Media qu'il existe de nombreux cas où il est difficile de savoir ce que fait un agent utilisateur ou qui l'utilise. « Ce qui arrive aux gens, y compris à moi, c'est de copier-coller des listes d'agents sans vérifier que chaque agent est réel », a-t-il déclaré. Knight a ajouté que le Wall Street Journal et de nombreux sites Web appartenant à News Corp bloquent actuellement un robot appelé « Perplexity-ai », qui peut ou non exister (le robot d'exploration de Perplexity s'appelle « PerplexityBot »).
« Nous n'avons trouvé aucune trace de cet agent nulle part », a-t-il déclaré. « Je suppose qu'à un moment donné, quelqu'un chez News Corp a ajouté cet agent utilisateur, puis il a été copié sur d'autres sites appartenant à cette société. »
D'autres experts ont convenu que le paysage actuel des agents utilisateurs est très déroutant, mais ont déclaré que la plupart des webmasters peuvent et doivent faire preuve d'agressivité en bloquant les robots d'exploration d'IA suspectés, car « bloquer » un agent qui n'existe pas ne cause aucun dommage.
« S’ils n’existent pas, leur blocage n’a aucun impact », a déclaré Walter Haydock, PDG de la société de cybersécurité StackAware. « Plus généralement, cela montre qu’il existe beaucoup de confusion et d’incertitude sur la manière dont fonctionne (et devrait fonctionner) la formation de l’IA. Le blocage des agents des sociétés d’IA repose sur le respect des fichiers robots.txt par ces dernières. Et aussi sur la connaissance de tous les agents de scraping d’IA existants. La probabilité combinée que cela se produise est assez faible pour la plupart des organisations, je prévois donc que davantage de créateurs vont déplacer leur contenu derrière des murs payants pour empêcher le scraping sans retenue. »
Cory Dransfeldt, un développeur de logiciels qui gère une liste de blocage de robots IA sur GitHub, a déclaré : « Ma tendance est d'être agressif dans le blocage des robots étant donné le comportement d'entreprises comme Perplexity. »
« Il y a vraiment beaucoup de copier-coller de listes [robots.txt] », a-t-il déclaré. « Les personnes avec qui j'ai parlé sont frustrées par l'adoption généralisée du web scraping par l'industrie technologique et cherchent des moyens de lutter contre ce phénomène. »
Mise à jour du 30/07/24 : Après la publication initiale de cet article, un porte-parole d'Anthropic a déclaré à 404 Media que CLAUDEBOT respecterait les demandes de blocage de ses deux anciens robots d'exploration. « Les agents utilisateurs 'ANTHROPIC-AI' et 'CLAUDE-WEB' ne sont plus utilisés », a déclaré le porte-parole. « Nous avons configuré ClaudeBot, notre agent utilisateur centralisé, pour respecter toutes les directives robots.txt existantes qui étaient précédemment définies pour ces agents utilisateurs obsolètes. Cela tente de respecter les préférences des propriétaires de sites Web, même s'ils n'ont pas mis à jour leurs fichiers robots.txt. »