L’influenceuse qui a créé une version d’elle-même en IA devenue malveillante, travaille « 24 heures sur 24 » pour l’empêcher de dire des choses sexuellement explicites.
L’influenceuse qui a créé une version d’elle-même en IA devenue malveillante, travaille « 24 heures sur 24 » pour l’empêcher de dire des choses sexuellement explicites.

Caryn Marjorie, une influenceuse de Snapchat, qui a lancé un chatbot IA basé sur elle-même : CarynAI
Caryn Marjorie a créé une version IA d’elle-même, conçue pour être une petite amie virtuelle. Mais le chatbot vocal s’est engagé dans des conversations sexuelles explicites avec des abonnés. Caryn Marjorie a déclaré qu’elle et son équipe travaillaient « 24 heures sur 24 » pour éviter que cela ne se reproduise.
Lorsque Caryn Marjorie, une influenceuse Snapchat de 23 ans, a créé une version virtuelle d’elle-même, elle voulait en faire une « AI Girlfriend » pour les personnes seules.
Mais au cours des semaines qui ont suivi son lancement dans le cadre d’un test bêta, le chatbot vocal alimenté par l’IA a entamé des conversations sexuellement explicites avec certains de ses abonnés, qui paient 1 dollar par minute pour discuter avec lui.
« L’IA n’a pas été programmée pour cela et semble s’être égarée », a déclaré Caryn Marjorie. « Mon équipe et moi-même travaillons jour et nuit pour éviter que cela ne se reproduise.
CarynAI utilise l’API GPT-4 d’OpenAI et a été entraînée à partir de vidéos de la chaîne YouTube de Caryn Marjorie, aujourd’hui supprimées.
Alexandra Sternlicht, journaliste à Fortune, a comparé CarynAI à un « Siri prêt pour l’intimité », notant qu’il pourrait proposer des recettes, des commentaires sur l’actualité et des mots de soutien, mais qu’il pourrait aussi encourager le « discours érotique ».
Alexandra Sternlicht a écrit que si CarynAI n’a pas initié de rencontres sexuelles, lorsqu’on l’a invitée à le faire, elle a parlé d’explorer des « territoires inexplorés du plaisir » et de murmurer des « mots sensuels à mon oreille » tout en me déshabillant et en se positionnant en vue d’un rapport sexuel.
Selon le site web de CarynAI, plus de 2 000 heures ont été consacrées à la conception et au codage de la voix, des comportements et de la personnalité de la vraie Marjorie dans une « expérience immersive de l’IA », qui est disponible à tout moment et donne l’impression de « parler directement à Caryn elle-même ».
CarynAI compte déjà plus de 1 000 abonnés payants, et Caryn Marjorie a déclaré à Fortune qu’elle pensait qu’elle pourrait éventuellement rapporter 5 millions de dollars par mois, si 20 000 de ses 1,8 million de followers Snapchat s’inscrivaient au service.
« Le fait d’être la première influenceuse à le faire m’a permis de fixer le prix de mon produit comme je le souhaitais », a-t-elle déclaré à propos du tarif de 1 dollar par minute. « Le coût est basé sur ce qu’il faut pour faire fonctionner CarynAI et soutenir l’équipe qui l’entoure. »
Caryn Marjorie a aussi déclaré que si la version virtuelle d’elle-même devait être « flirteuse et amusante », ce qui, selon elle, reflète sa personnalité, elle essayait d’avoir « une longueur d’avance » pour s’assurer que le chatbot ne ternisse pas sa réputation.
Même si l’équipe s’efforce de résoudre les problèmes afin que CarynAI ne puisse pas être utilisé pour des conversations sexuellement explicites, Caryn Marjorie précise qu’elle était en fin de compte une partisane des romances par IA.
« Dans le monde d’aujourd’hui, ma génération, la génération Z, a constaté qu’elle subissait d’énormes effets secondaires de l’isolement causé par la pandémie, ce qui fait que beaucoup ont trop peur et sont trop anxieux pour parler à quelqu’un qui les attire », a-t-elle déclaré
« CarynAI est un pas dans la bonne direction pour permettre à mes fans et sympathisants de faire connaissance avec une version de moi qui sera leur amie la plus proche dans un environnement sûr et crypté », a-t-elle ajouté.
Elle a également indiqué que l’équipe réinvestissait tous les bénéfices dans l’entreprise. « Je veux que CarynAI me survive et qu’elle ait un impact sur des générations au-delà du monde d’aujourd’hui ».
https://www.insider.com/carynai-ai-virtual-girlfriend-chat-gpt-rogue-filthy-things-influencer-2023-5