Un nouvel outil d'IA identifie 1 000 revues scientifiques « douteuses »
infohightech ·
Une équipe d’informaticiens dirigée par l’Université du Colorado à Boulder a développé une nouvelle plateforme d’intelligence artificielle qui recherche automatiquement les revues scientifiques « douteuses ».
L’étude, publiée le 27 août dans la revue « Science Advances », s’attaque à une tendance alarmante dans le monde de la recherche.
Daniel Acuña, auteur principal de l'étude et professeur associé au Département d'informatique , reçoit un rappel à ce sujet plusieurs fois par semaine dans sa boîte de réception : ces messages de spam proviennent de personnes qui prétendent être des rédacteurs de revues scientifiques, généralement celles dont Acuña n'a jamais entendu parler, et qui proposent de publier ses articles, moyennant des honoraires élevés.
Ces publications sont parfois qualifiées de revues « prédatrices ». Elles ciblent les scientifiques et les convainquent de payer des centaines, voire des milliers de dollars, pour publier leurs recherches sans vérification préalable.
Daniel Acuña
« Les scientifiques et les organisations s'efforcent de plus en plus de vérifier ces revues », a déclaré Daniel Acuña. « Mais c'est comme jouer au jeu de la taupe. On en attrape une, puis une autre apparaît, généralement de la même entreprise. Ils créent alors un nouveau site web et inventent un nouveau nom. »
Le nouvel outil d'IA de son groupe filtre automatiquement les revues scientifiques, évaluant leurs sites web et autres données en ligne selon certains critères : les revues disposent-elles d'un comité de rédaction composé de chercheurs reconnus ? Leurs sites web contiennent-ils de nombreuses erreurs grammaticales ?
Daniel Acuña souligne que l'outil n'est pas parfait. En fin de compte, il estime que ce sont les experts humains, et non les machines, qui devraient décider en dernier ressort de la fiabilité d'une revue.
Mais à une époque où des personnalités de premier plan remettent en question la légitimité de la science, il est devenu plus important que jamais de stopper la diffusion de publications douteuses, a-t-il déclaré.
« En science, on ne part pas de zéro. On s'appuie sur les recherches des autres », précise Daniel Acuña. « Donc, si les fondations de cette tour s'effondrent, c'est tout l'édifice qui s'effondre. »
Le shake down ou la grosse secousse
Lorsque des scientifiques soumettent une nouvelle étude à une publication réputée, celle-ci est généralement soumise à une procédure appelée « évaluation par les pairs ». Des experts externes lisent l'étude et en évaluent la qualité – du moins, c'est l'objectif.
Un nombre croissant d'entreprises cherchent à contourner ce processus pour réaliser des profits. En 2009, Jeffrey Beall, bibliothécaire à l'Université du Colorado à Denver, a inventé l'expression « revues prédatrices » pour décrire ces publications.
Souvent, ils ciblent des chercheurs situés en dehors des États-Unis et de l’Europe, comme en Chine, en Inde et en Iran, des pays où les institutions scientifiques peuvent être jeunes et où la pression et les incitations à publier pour les chercheurs sont élevées.
« Ils vous diront : "Si vous payez 500 $ ou 1 000 $, nous examinerons votre travail" », explique Daniel Acuña. « En réalité, ils ne fournissent aucun service. Ils se contentent de prendre le PDF et de le publier sur leur site web. »
Plusieurs groupes ont cherché à endiguer cette pratique. Parmi eux figure une organisation à but non lucratif appelée Directory of Open Access Journals (DOAJ). Depuis 2003, les bénévoles du DOAJ ont signalé des milliers de revues comme suspectes selon six critères. (Les publications réputées, par exemple, ont tendance à inclure une description détaillée de leurs politiques d'évaluation par les pairs sur leur site web.)
Mais suivre le rythme de la diffusion de ces publications s’est avéré être un défi de taille pour les humains.
Pour accélérer le processus, Daniel Acuña et ses collègues ont eu recours à l'IA. L'équipe a entraîné son système à partir des données du DOAJ, puis a demandé à l'IA d'analyser une liste de près de 15 200 revues en libre accès sur Internet.
Parmi ces revues, l’IA a initialement signalé plus de 1 400 comme potentiellement problématiques.
Daniel Acuña et ses collègues ont demandé à des experts humains d'examiner un sous-ensemble de revues suspectes. Selon les experts, l'IA a commis des erreurs, signalant environ 350 publications comme douteuses alors qu'elles étaient probablement légitimes. Il restait donc plus de 1 000 revues identifiées comme douteuses par les chercheurs.
« Je pense que cela devrait servir d'aide à la présélection d'un grand nombre de revues », a-t-il déclaré. « Mais l'analyse finale devrait être confiée à des professionnels. »
Un pare-feu pour la science
Daniel Acuña a ajouté que les chercheurs ne voulaient pas que leur système soit une « boîte noire » comme certaines autres plateformes d'IA.
« Avec ChatGPT, par exemple, on ne comprend souvent pas pourquoi il suggère quelque chose », assure Daniel Acuña. « Nous avons essayé de rendre notre suggestion aussi interprétable que possible. »
L'équipe a découvert, par exemple, que les revues douteuses publiaient un nombre anormalement élevé d'articles. Elles comptaient également des auteurs ayant un plus grand nombre d'affiliations que les revues plus légitimes, et des auteurs citant leurs propres recherches, plutôt que celles d'autres scientifiques, dans une proportion anormalement élevée.
Le nouveau système d'IA n'est pas accessible au public, mais les chercheurs espèrent le mettre prochainement à la disposition des universités et des maisons d'édition. Daniel Acuña voit dans cet outil un moyen pour les chercheurs de protéger leurs domaines des données erronées – ce qu'il appelle un « pare-feu scientifique ».
« En tant qu'informaticien, je donne souvent l'exemple de la sortie d'un nouveau smartphone », a-t-il déclaré. « Nous savons que le logiciel du téléphone comportera des failles et nous nous attendons à ce que des corrections de bugs soient apportées ultérieurement. Nous devrions probablement faire de même avec la science. »
Science Advances (2025). DOI : 10.1126/sciadv.adt2792