Skip to main content

15 Avr, 2024

L’IA générative peut transformer vos souvenirs les plus précieux en photos qui n’ont jamais existé

L’IA générative peut transformer vos souvenirs les plus précieux en photos qui n’ont jamais existé

Le projet Synthetic Memories aide les familles du monde entier à se réapproprier un passé qui n’a jamais été filmé.

Maria a grandi à Barcelone, en Espagne, dans les années 1940. Ses premiers souvenirs de son père sont très nets. À l’âge de six ans, Maria se rendait dans l’appartement d’un voisin de son immeuble lorsqu’elle voulait le voir. De là, elle pouvait regarder à travers les balustrades d’un balcon dans la prison en contrebas et essayer de l’apercevoir à travers la petite fenêtre de sa cellule, où il était enfermé pour s’être opposé à la dictature de Francisco Franco.

Il n’y a pas de photo de Maria sur ce balcon. Mais elle peut désormais tenir quelque chose qui y ressemble : une fausse photo – ou une reconstruction basée sur la mémoire, comme le dit le studio de design barcelonais Domestic Data Streamers – de la scène qu’une vraie photo aurait pu capturer. Les faux clichés sont flous et déformés, mais ils permettent de rembobiner une vie en un instant.

« Il est très facile de voir quand on a le bon souvenir, parce qu’il y a une réaction très viscérale », explique Pau Garcia, fondateur de Domestic Data Streamers. « Cela se produit à chaque fois. C’est comme si l’on se disait : « Oh ! oui ! C’était comme ça ! »

Dans la Barcelone des années 1960, après la guerre civile, Denia (aujourd’hui âgée de 73 ans), 14 ans, et sa famille, nouvellement arrivés d’Alcalá de Júcar, trouvaient réconfort et excitation dans la salle de danse animée « La Gavina Azul ». C’était un sanctuaire de joie au milieu de la réalité de l’après-guerre, où le frisson de la musique et de la danse promettait la liberté face à la monotonie quotidienne et à la pauvreté de l’époque.

Des streamers de données domestiques

Des dizaines de personnes ont vu leurs souvenirs transformés en images de cette manière grâce à Synthetic Memories, un projet géré par Domestic Data Streamers. Le studio utilise des modèles d’images génératives, tels que DALL-E d’OpenAI, pour donner vie aux souvenirs des gens. Depuis 2022, le studio, qui a reçu des fonds de l’ONU et de Google, travaille avec des communautés d’immigrants et de réfugiés du monde entier pour créer des images de scènes qui n’ont jamais été photographiées, ou pour recréer des photos qui ont été perdues lorsque les familles ont quitté leur ancien foyer.

Aujourd’hui, Domestic Data Streamers occupe un bâtiment situé à côté du musée du design de Barcelone pour enregistrer les souvenirs de la ville à l’aide d’images synthétiques. Tout le monde peut se présenter et contribuer à l’enrichissement des archives, explique Pau Garcia.

Synthetic Memories pourrait s’avérer être plus qu’une entreprise sociale ou culturelle. Cet été, le studio entamera une collaboration avec des chercheurs afin de déterminer si sa technique pourrait être utilisée pour traiter la démence.

Des graffitis mémorables

L’idée du projet est née d’une expérience vécue par Pau Garcia en 2014, alors qu’il travaillait en Grèce avec une organisation qui relogeait des familles de réfugiés en provenance de Syrie. Une femme lui a dit qu’elle n’avait pas peur d’être elle-même réfugiée, mais qu’elle craignait que ses enfants et petits-enfants le restent, car ils risquaient d’oublier l’histoire de leur famille : où ils faisaient leurs courses, ce qu’ils portaient, comment ils s’habillaient.

Pau Garcia a demandé à des volontaires de dessiner les souvenirs de la femme sous forme de graffitis sur les murs de l’immeuble où logeaient les familles. « Les dessins étaient vraiment mauvais, mais l’idée des souvenirs synthétiques était née », explique-t-il. Plusieurs années plus tard, lorsque Pau Garcia a vu ce que les modèles d’images génératives pouvaient faire, il s’est souvenu de ce graffiti. « C’est l’une des premières choses qui lui est venue à l’esprit », explique-t-il.

En 1990, Emerund, 14 ans, vivait dans un petit village camerounais. Après l’école, il passait ses après-midi à aider sa mère à planter du maïs et des pommes de terre dans les champs. Ces moments étaient un mélange de devoir et de joie, car il conciliait les responsabilités envers sa famille avec les plaisirs simples d’être proche de la nature et de ses frères et sœurs. Ces souvenirs d’enfance occupent une place particulière dans son cœur, car il se souvient d’un endroit précis des champs où ses frères et sœurs jouaient à cache-cache avec leur mère.

Le processus mis au point par Pau Garcia et son équipe est simple. Un enquêteur s’assoit avec un sujet et lui demande de se souvenir d’une scène ou d’un événement spécifique. Un ingénieur chargé de l’élaboration de l’invite, équipé d’un ordinateur portable, utilise ces souvenirs pour rédiger une invite à l’intention d’un modèle, qui génère une image.

Son équipe a établi une sorte de glossaire des termes utilisés pour évoquer différentes périodes de l’histoire et différents lieux. Mais il y a souvent des allers-retours, des ajustements à apporter au message, explique Pau Garcia : « Vous montrez l’image générée à partir de ce message au sujet et il peut dire : « Oh, la chaise était de ce côté » ou « C’était la nuit, pas le jour ». Vous l’affinez jusqu’à ce que vous arriviez à un point où il y a un déclic ».

Jusqu’à présent, Domestic Data Streamers a utilisé cette technique pour préserver la mémoire de personnes appartenant à diverses communautés de migrants, notamment des familles coréennes, boliviennes et argentines vivant à São Paolo, au Brésil. Elle a également travaillé avec une maison de soins de Barcelone pour voir comment les reconstitutions basées sur la mémoire pourraient aider les personnes âgées.

L’équipe a collaboré avec des chercheurs de Barcelone dans le cadre d’un petit projet pilote sur 12 sujets, en appliquant l’approche à la thérapie par réminiscence – un traitement de la démence qui vise à stimuler les capacités cognitives en montrant à une personne des images du passé. Développée dans les années 1960, la thérapie par réminiscence a de nombreux partisans, mais les chercheurs ne s’accordent pas sur son efficacité et sur la manière de la mettre en œuvre.

Le projet pilote a permis à l’équipe d’affiner le processus et de s’assurer que les participants pouvaient donner leur consentement en toute connaissance de cause, explique Pau Garcia. Les chercheurs prévoient maintenant de mener une étude clinique de plus grande envergure au cours de l’été avec des collègues de l’Université de Toronto afin de comparer l’utilisation de modèles d’images génératives avec d’autres approches thérapeutiques.

Le projet pilote a permis de constater que les personnes âgées se sentaient beaucoup plus concernées par les images lorsqu’elles étaient imprimées. « Lorsqu’elles les voient sur un écran, elles n’ont pas le même type de relation émotionnelle avec elles », précise Pau Garcia. « Mais lorsqu’elles pouvaient les voir physiquement, le souvenir devenait beaucoup plus important. «   

Le flou, c’est mieux

Les chercheurs ont également constaté que les anciennes versions des modèles d’images génératives fonctionnent mieux que les nouvelles. Ils ont commencé le projet en utilisant deux modèles sortis en 2022 : DALL-E 2 et Stable Diffusion, un modèle d’image générative libre d’utilisation publié par Stability AI. Ces modèles peuvent produire des images qui ont des défauts, avec des visages déformés et des corps tordus. Mais lorsqu’ils sont passés à la dernière version de Midjourney (un autre modèle d’image génératif capable de créer des images plus détaillées), les résultats n’ont pas été aussi bien accueillis par les gens.

« Si vous créez quelque chose de très réaliste, les gens se concentrent sur des détails qui n’existaient pas », souligne Pau Garcia. « Si l’image est floue, le concept passe mieux. Les souvenirs sont un peu comme les rêves. Ils ne se comportent pas comme des photographies, avec des détails médico-légaux. Vous ne vous souvenez pas si la chaise était rouge ou verte. Vous vous souvenez simplement qu’il y avait une chaise ».

Depuis, l’équipe a recommencé à utiliser les anciens modèles. « Pour nous, les pépins sont une caractéristique », lance Pau Garcia. « Parfois, des choses peuvent être là et ne pas être là. C’est une sorte d’état quantique dans les images qui fonctionne très bien avec les souvenirs. »

Sam Lawton, un cinéaste indépendant qui n’est pas impliqué dans le studio, est enthousiasmé par le projet. Il est particulièrement heureux que l’équipe examine les effets cognitifs de ces images dans le cadre d’une étude clinique rigoureuse. Sam Lawton a utilisé des modèles d’images génératives pour recréer ses propres souvenirs. Dans un film qu’il a réalisé l’année dernière, intitulé Expanded Childhood, il a utilisé DALL-E pour étendre de vieilles photos de famille au-delà de leurs limites, brouillant les scènes réelles de l’enfance avec des scènes surréalistes.

« C’est l’effet de l’exposition à ce type d’images générées sur le cerveau d’une personne qui m’a incité à faire ce film », assure Sam Lawton. « Je n’étais pas en mesure de me lancer dans une recherche approfondie, j’ai donc opté pour le type de narration qui m’est le plus naturel.« 

Les travaux de Sam Lawton portent sur un certain nombre de questions : Quel sera l’effet sur nous d’une exposition à long terme à des images générées ou modifiées par l’IA ? Ces images peuvent-elles aider à recadrer des souvenirs traumatisants ? Ou bien créent-elles un faux sentiment de réalité qui peut conduire à la confusion et à la dissonance cognitive ?

Sam Lawton a montré les images de Expanded Childhood à son père et a inclus ses commentaires dans le film : « Quelque chose ne va pas. Je ne sais pas ce que c’est. Est-ce que je ne m’en souviens pas ? »

Nuria, aujourd’hui âgée de 90 ans, se souvient parfaitement des hommes et des garçons qui attendaient à l’extérieur des abris antiatomiques de Barcelone pendant la guerre civile espagnole, armés de pioches et de haches pour secourir les personnes piégées à l’intérieur. Ces personnes, bravant le danger des bombes, ont fait preuve d’un courage et d’un altruisme incroyables. Leurs actions, au péril de leur vie pour sauver les autres, ont laissé une impression durable sur Nuria. Aujourd’hui encore, elle se souvient en détail des vêtements et des manteaux sales que portaient ces hommes.

Pau Garcia est conscient du danger de confondre des souvenirs subjectifs avec de véritables documents photographiques. Les reconstructions de son équipe basées sur la mémoire ne doivent pas être considérées comme des documents factuels, précise-t-il. En fait, il note que c’est une autre raison de s’en tenir aux images moins photoréalistes produites par les anciennes versions des modèles d’images génératifs. « Il est important de distinguer très clairement ce qui relève de la mémoire synthétique et ce qui relève de la photographie », explique Pau Garcia. « C’est un moyen simple de le montrer.

Mais il craint à présent que les entreprises à l’origine des modèles ne retirent leurs anciennes versions du marché. La plupart des utilisateurs attendent avec impatience des modèles plus grands et plus performants ; pour les mémoires synthétiques, moins peut être plus. « J’ai vraiment peur qu’OpenAI ferme DALL-E 2 et que nous devions utiliser DALL-E 3 », dit-il.

https://www.syntheticmemories.net

https://www.domesticstreamers.com/art-research/work/synthetic-memories