Deloitte remboursera le gouvernement australien pour un rapport rempli d'hallucinations liées à l'IA
infohightech ·
L' Australian Financial Review rapporte que Deloitte Australia offrira au gouvernement australien un remboursement partiel pour un rapport rempli de citations « hallucinées » par l'IA et de références à des recherches inexistantes.
La « Targeted Compliance Framework Assurance Review » ou L'« Étude d'assurance du cadre de conformité ciblé » de Deloitte a été finalisée en juillet et publiée par le ministère australien de l'Emploi et des Relations professionnelles (DEWR) en août ( version Internet Archive de l'original ). Ce rapport, qui a coûté près de 440 000 dollars australiens (environ 249 000 €) aux contribuables australiens, se concentre sur le cadre technique utilisé par le gouvernement pour automatiser les pénalités dans le cadre du système de protection sociale du pays.
Cependant, peu après la publication du rapport, Chris Rudge, directeur adjoint du département de droit de la santé de l'Université de Sydney, a remarqué des citations de plusieurs articles et publications inexistants. Parmi celles-ci figuraient de multiples références à des rapports inexistants de Lisa Burton Crawford, une véritable professeure de la faculté de droit de l'Université de Sydney.
« Il est inquiétant de voir des recherches m'être attribuées de cette manière », a déclaré Crawford à l'AFR en août . « J'aimerais que Deloitte m'explique comment ces citations ont été générées. »
« Un petit nombre de corrections »
Deloitte et le DEWR ont dissimulé cette explication dans une version mise à jour du rapport original, publiée vendredi, « afin de corriger quelques références et notes de bas de page », selon le site web du DEWR. À la page 58 de ce rapport mis à jour de 273 pages, Deloitte a ajouté une référence à « une chaîne d'outils basée sur un modèle de langage génératif à grande échelle (Azure OpenAI GPT-4o) », utilisée dans le cadre du flux de travail technique pour aider à « [évaluer] si l'état du code système peut être adapté aux exigences métier et aux besoins de conformité ».
Sur les 141 sources citées dans la longue liste de références du rapport original, seules 127 apparaissent dans le rapport mis à jour. Outre les références désormais supprimées à de fausses publications de Crawford et d'autres universitaires, le rapport mis à jour a également supprimé une citation inventée de toutes pièces, attribuée à une décision réelle de la juge fédérale Jennifer Davies (orthographiée « Davis » dans le rapport original).
Deloitte Australie a annoncé le remboursement de la dernière tranche de son contrat avec le gouvernement, bien que la part du contrat total que cela représente ne soit pas précisée. Un porte-parole du DEWR a déclaré à l'AFR que « le contenu de l'examen indépendant est conservé et que les recommandations restent inchangées ».
Mais Chris Rudge, de l'Université de Sydney, a déclaré à l'AFR que « vous ne pouvez pas faire confiance aux recommandations lorsque le fondement même du rapport est construit sur une méthodologie défectueuse, non divulguée à l'origine et non experte... Deloitte a admis avoir utilisé l'IA générative pour une tâche analytique essentielle ; mais il a omis de le divulguer en premier lieu. »