S’il vous plaît… sortez-nous de cette chronologie car c’est de plus en plus grave
Civitai, l’une des plus grandes plateformes d’IA sur Internet, incite les utilisateurs à créer des deepfakes de vraies personnes, a révélé un rapport inquiétant de 404 Media .
Selon 404, le marché des modèles d’IA – qui aurait reçu des millions de dollars de financement de la part du fonds a16z d’Andreessen Horowitz – a récemment introduit une fonction « primes » ou « bounties » en anglais, qui est un système monétisé dans lequel divers utilisateurs peuvent rivaliser pour créer des modèles d’images LoRA (1) en échange d’une monnaie numérique.
En gros, un utilisateur publie la « prime », c’est-à-dire un appel à un modèle d’IA capable de générer des images hyperspécifiques. D’autres utilisateurs de Civitai tentent de construire le modèle demandé, et l’auteur de la prime choisit un gagnant. Ce dernier est payé en « Buzz », de l’argent virtuel qui peut être acheté sur Civitai avec de l’argent réel.
- Low-Rank Adaptations : https://aituts.com/stable-diffusion-lora/
Civitai est déjà connue comme une plate-forme sur laquelle des deepfakes pornographiques non consensuels sont facilement créés et diffusés. Il n’est donc malheureusement pas surprenant que la majeure partie de ces créations récompensées semblent être des images pornographiques non consensuelles, presque entièrement représentant des femmes.
Selon le rapport de 404, il s’agit notamment de deepfakes non désirés de personnalités publiques telles que des célébrités et des influenceurs, ainsi que d’au moins une personne n’ayant aucun semblant de présence publique – la prime affichée, selon 404, ne fournissait qu’une poignée de photos prises à partir des comptes de médias sociaux de la personne en question.
C’est un signe troublant des temps, compte tenu de la disponibilité de la technologie, de l’effronterie de son utilisation abusive et de l’empressement des principaux organismes financiers à financer une plateforme comme celle-ci, quelle qu’elle soit.
La barre la plus basse
Pour être clair : la pornographie deepfake non consensuelle de quiconque, qu’il s’agisse d’une célébrité ou d’un individu très ordinaire, est fausse et dérangeante. Mais le fait que des personnes ordinaires, non publiques, courent un risque est en soi alarmant ; En effet, à l’ère d’Internet en plein essor, dominée par des outils d’IA générative faciles à utiliser, on a de plus en plus l’impression que le contrôle de chacun sur son image publique s’éloigne rapidement.
Pire encore, il existe actuellement peu de possibilités de représailles pour les victimes. Civitai, qui a des règles confuses autour de l’imagerie sexuelle, a déclaré que son outil de primes ne devrait pas être utilisé à des fins de pornographie truquée.
Mais il ne semble pas vraiment que Civitai dépense trop de ressources en matière d’application de la loi, et bien que les victimes puissent signaler elles-mêmes ce type de contenu, cela place la barre incroyablement basse pour les plateformes qui hébergent – et, dans ce cas, monétisent – ce contenu. sans parler des organismes de financement qui alimentent la plateforme en arrière-plan.
« J’ai très peur de ce que cela peut devenir », a déclaré à 404 Michele Alves, une influenceuse Instagram bénéficiant d’une prime Civitai non désirée. « Je ne sais pas quelles mesures je pourrais prendre, car Internet semble être un endroit hors de contrôle. »
