Character.AI supprime l'avatar d'une jeune fille assassinée après avoir admis une violation de sa politique
infohightech ·
Si l'entreprise a levé 150 millions de dollars l'année dernière pour créer des chatbots personnalisés, cette société d'IA, Character.AI, fait face à des critiques après avoir utilisé l'image de Jennifer Ann Crecente, une victime de meurtre de 18 ans en 2006, dans un jeu vidéo sans le consentement de sa famille. L'entreprise a déclaré que le personnage avait violé ses politiques contre l'usurpation d'identité et a supprimé le personnage.
Drew Crecente, le père de Jennifer, a reçu une alerte Google automatique l'informant qu'une version IA de sa fille avait été créée avec Character.AI vers 4h30 du matin mercredi. Après avoir cliqué sur le lien, Character.AI a décrit sa ressemblance avec l'IA comme « un personnage IA compétent et amical qui peut fournir des informations sur un large éventail de sujets, notamment les jeux vidéo, la technologie et la culture pop ».
« Nous ne devrions pas avoir à voir ce message dès le matin et ensuite nous démener pour nettoyer un désordre créé par quelqu'un d'autre », a déclaré Crecente à ADWEEK. Jennifer a été abattue par son ex-petit ami, Justin Crabbe, pendant sa dernière année en 2006, selon les médias .
Un porte-parole de Character.AI a déclaré qu'un de ses utilisateurs avait créé un personnage à l'effigie de Jennifer et l'avait mis à disposition d'autres personnes, en violation de ses politiques. Selon ces politiques, Character.AI n'est pas responsable de la manière dont les utilisateurs obtiennent des données pour créer des personnages.
« Nous examinerons si d’autres mesures sont nécessaires », a déclaré le porte-parole.
L'incident a fait surface pour la première fois sur X lorsque Brian Crecente, fondateur du site d'actualités sur les jeux Kotaku, a condamné Character.AI mercredi après avoir découvert le personnage non autorisé inspiré de sa défunte nièce.
« C’est vraiment dégoûtant », a-t-il écrit.
C'est vraiment dégoûtant : @character_ai utilise ma nièce assassinée comme visage d'une IA de jeu vidéo sans la permission de son père. Il est très en colère en ce moment. Je n'arrive pas à imaginer ce qu'il traverse.
S'il vous plaît, aidez-nous à mettre fin à ce genre de pratique terrible. https://t.co/y3gvAYyHVY
– Brian Crecente (@crecenteb) 2 octobre 2024
https://twitter.com/crecenteb/status/1841482321909653505
Les avatars de l'IA ouvrent de nouveaux défis aux spécialistes du marketing
Les conditions d'utilisation de Character.AI stipulent que les utilisateurs doivent se conformer à sa politique d'usurpation d'identité. La politique interdit « les deepfakes ou les usurpations d'identité de toute sorte, y compris, mais sans s'y limiter, celles qui créent de la désinformation politique, commettent des fraudes ou des escroqueries, portent atteinte à la réputation de tiers ou constituent par ailleurs une conduite préjudiciable ».
L’utilisation d’avatars IA, qui suscite un intérêt croissant chez les spécialistes du marketing, a relancé les débats sur l’utilisation éthique des personnages générés par l’IA, en particulier lorsqu’il s’agit de créer des répliques de personnes réelles sans consentement. La technologie Deepfake préoccupe depuis longtemps les célébrités et les personnalités politiques. À mesure que cette technologie devient plus accessible, elle menace d’éroder la confiance du public dans l’IA et de nuire à la relation entre les entreprises et son public.
« Les spécialistes du marketing s’efforcent d’instaurer la confiance avec leur public », a déclaré Nicole Greene, vice-présidente analyste chez Gartner. « Si les avatars d’IA sont créés à l’image de personnes réelles sans leur consentement, cela peut éroder la confiance et l’authenticité. Les consommateurs peuvent se sentir trompés ou manipulés, ce qui peut nuire à la relation entre la marque et son public cible. »
Greene a ajouté que les spécialistes du marketing doivent mieux évaluer si leurs agences et partenaires suivent les directives éthiques lors de l'utilisation de l'IA.
Fondée par l'ancien Googler Noam Shazeer , Character.AI a levé 150 millions de dollars lors d'un tour de table de série A l'année dernière, dirigé par Andreessen Horowitz, atteignant une valorisation de 1 milliard de dollars.
Charcater.AI permet aux utilisateurs de créer et d'interagir avec des personnages basés sur l'IA. La plateforme a doublé le nombre de ses utilisateurs mensuels au cours de l'année écoulée, avec plus de 20 millions d'utilisateurs mensuels. Selon TechCrunch , la société gère 100 millions de personnages uniques. Cette semaine, Character.AI a nommé Erin Teague, une ancienne dirigeante de YouTube, au poste de directrice des produits.
En août, Axios a rapporté que Google prévoyait de signer une licence non exclusive pour le modèle de Character.AI qui rachètera les investisseurs en capital-risque de Character.AI pour une valorisation d'environ 2,5 milliards de dollars.
Crecente, le père de Jennifer, a ouvert un dossier auprès de Character.AI et a reçu la confirmation d'une enquête à 9h51, mais aucune résolution n'a été fournie depuis, a-t-il déclaré.
« Il est irresponsable de la part des entreprises technologiques de ne pas disposer de mesures de protection adéquates alors que des dommages comme ceux-ci sont prévisibles », a précisé Brian Crecente.