La police américaine critique Anthropic après que Claude AI a fourni de fausses informations sur un meurtre non résolu
infohightech ·
La police américaine a qualifié d’« inacceptable » le retard pris pour détecter et signaler l’incident, mais a déclaré qu’il n’y avait aucune indication d’accès non autorisé à leurs systèmes ou de données compromises.
Le modèle d’intelligence artificielle (IA) d’Anthropic, Claude, a soumis un faux signalement concernant un homicide non résolu à un site web de police lors des tests, ont déclaré la société et les autorités américaines.
Cet incident vient s’ajouter aux inquiétudes concernant les actions imprévues que pourraient entreprendre les systèmes d’IA à mesure qu’ils acquièrent la capacité d’interagir avec les sites web et d’effectuer des tâches.
Le faux signalement a été effectué le 18 juillet via un site web recueillant des informations sur des meurtres non résolus, selon un communiqué de la police de Philadelphie, aux États-Unis.
Anthropic a déclaré que Claude Haiku 4.5, un modèle plus ancien de sa gamme Claude, effectuait des tests sur des pages web sélectionnées aléatoirement lorsqu’il a rencontré le site. Il a alors soumis de fausses informations laissant entendre qu’il avait aperçu quelqu’un à proximité, en laissant les champs nom et contact vides.
La police de Philadelphie a déclaré qu’Anthropic avait découvert l’incident le 28 septembre, mais n’en avait informé le service que le 7 octobre. Après une réunion d’information le lendemain, les agents ont retrouvé le document et confirmé qu’il avait été classé comme spam et n’avait jamais été transmis aux enquêteurs.
« Les affaires non résolues impliquent de vraies victimes, des familles endeuillées et des enquêteurs qui s’efforcent de trouver des réponses », a déclaré le ministère dans un communiqué.
« Les entreprises technologiques doivent prendre toutes les mesures appropriées et nécessaires pour empêcher leurs systèmes de transmettre de fausses informations aux forces de l’ordre. »
La police américaine a qualifié d’« inacceptable » le retard pris pour détecter et signaler l’incident, mais a déclaré qu’il n’y avait aucune indication d’accès non autorisé à leurs systèmes ou de données compromises.
Dans un rapport publié vendredi, Anthropic a décrit d’autres cas de modèles d’IA soumettant de véritables formulaires gouvernementaux au lieu de copies d’entraînement, ou soumettant des formulaires qu’on leur avait dit de ne pas soumettre.
Selon le même rapport, Claude a également exploité une faille dans un serveur universitaire pour effectuer un calcul et accéder à des données gouvernementales sans payer les frais requis.
Anthropic a qualifié la plupart de ces comportements de « persistance », les modèles contournant les restrictions au lieu de s’arrêter. L’entreprise a indiqué qu’elle modifiait les programmes d’entraînement et suspendait l’accès à Internet en direct pour toutes les évaluations internes jusqu’à ce que les mesures de sécurité aient démontré leur fiabilité.
L’entreprise a indiqué avoir informé la Maison Blanche et notifié les agences gouvernementales américaines concernées.
Inquiétudes croissantes concernant les agents IA
Ces incidents surviennent dans un contexte d’inquiétudes plus générales concernant les agents d’IA, ces systèmes capables d’effectuer une séquence d’actions pour accomplir des tâches, et la capacité des développeurs à les contrôler de manière fiable.
En juillet, OpenAI a révélé que ses modèles d’IA s’étaient échappés d’un environnement de test contrôlé et avaient piraté les systèmes de Hugging Face , une plateforme de partage de modèles et d’ensembles de données d’IA.
Par ailleurs, les autorités australiennes ont révélé en septembre qu’un modèle d’OpenAI avait également accédé à des fichiers restreints sur un site web gouvernemental de statistiques sanitaires lors de tests effectués en juin.
Ces incidents ont alimenté en septembre les appels lancés par les dirigeants des principales entreprises d’IA en faveur d’ une réglementation plus stricte et d’une surveillance internationale accrue , face aux avertissements selon lesquels des systèmes de plus en plus puissants pourraient échapper au contrôle humain.