Les chercheurs ont utilisé des images de l’activité cérébrale et les ont traduites en un flux de texte précis et continu

Des chercheurs de l’Université du Texas à Austin ont créé un système d’intelligence artificielle capable de prendre des images de l’activité cérébrale d’une personne et de les traduire en un flux continu de texte. Appelé décodeur sémantique, le système peut aider les personnes conscientes mais incapables de parler, comme celles qui ont subi un accident vasculaire cérébral.

Cette nouvelle interface cerveau-ordinateur diffère des autres technologies de « lecture mentale » car elle n’a pas besoin d’être implantée dans le cerveau. Les chercheurs de l’UT Austin ont réalisé des enregistrements non invasifs du cerveau à l’aide de l’imagerie par résonance magnétique fonctionnelle (IRMf) pour reconstruire des stimuli perçus ou imaginés à l’aide d’un langage naturel continu.

Alors que l’IRMf produit des images d’excellente qualité, le signal qu’elle mesure, qui dépend des niveaux d’oxygène dans le sang, est très lent, car une impulsion d’activité neuronale provoque une montée et une chute de l’oxygène dans le sang pendant environ 10 secondes. Parce que l’anglais parlé naturellement utilise plus de deux mots par seconde, chaque image cérébrale peut donc être affectée par plus de 20 mots.

C’est là qu’intervient le décodeur sémantique. Il utilise un modèle d’encodage similaire à celui utilisé par ChatGPT d’Open AI et Bard de Google qui peut prédire comment le cerveau d’une personne répondra au langage naturel. Pour « entraîner » le décodeur, les chercheurs ont enregistré les réponses cérébrales de trois personnes pendant qu’elles écoutaient 16 heures d’histoires parlées. Le décodeur pouvait prédire, avec une précision considérable, comment le cerveau de la personne réagirait à l’audition d’une séquence de mots.

« Pour une méthode non invasive, il s’agit d’un véritable bond en avant par rapport à ce qui se faisait auparavant, qui consistait généralement en des mots simples ou des phrases courtes », a déclaré Alexander Huth, auteur correspondant de l’étude.

Le résultat ne recrée pas mot pour mot le stimulus. Au contraire, le décodeur capte l’essentiel de ce qui se dit. Ce n’est pas parfait, mais environ la moitié du temps, cela produisait un texte qui correspondait étroitement – ​​parfois précisément – ​​à l’original.

Prédictions du décodeur à partir d’enregistrements cérébraux collectés pendant qu’un utilisateur écoutait quatre histoires. Des exemples de segments ont été sélectionnés manuellement et annotés pour illustrer les comportements typiques du décodeur. Le décodeur reproduit exactement certains mots et phrases et capture l’essentiel de beaucoup d’autres.

Lorsque les participants écoutaient activement une histoire et ignoraient une autre histoire jouée simultanément, le décodeur était capable de capturer l’essentiel de l’histoire écoutée activement.

En plus de demander aux participants d’écouter et de réfléchir à des histoires, on leur a demandé de regarder quatre courtes vidéos silencieuses pendant que leur cerveau était scanné à l’aide d’une IRMf. L’encodeur sémantique traduisait leur activité cérébrale en descriptions précises de certains événements à partir des vidéos qu’ils regardaient.

Les chercheurs ont constaté que la participation volontaire était la clé du processus. Ceux qui ont opposé une résistance pendant la formation à l’encodeur, comme en pensant délibérément à d’autres pensées, ont produit des résultats inutilisables. De même, lorsque les chercheurs ont testé l’IA sur des personnes qui n’avaient pas formé le décodeur, les résultats étaient inintelligibles.

L’équipe de l’UT Austin est consciente du potentiel d’utilisation malveillante de résultats inexacts et de l’importance de protéger la vie privée des personnes.

« Nous prenons très au sérieux les craintes qu’il puisse être utilisé à de mauvaises fins et avons travaillé pour éviter cela », a déclaré Jerry Tang, auteur principal de l’étude. « Nous voulons nous assurer que les gens n’utilisent ces types de technologies que lorsqu’ils le souhaitent et que cela les aide. »

Actuellement, le décodeur n’est pas utilisable en dehors de l’environnement de laboratoire en raison de sa dépendance à l’IRMf. L’espoir est que la technologie puisse être adaptée pour être utilisée avec des systèmes d’imagerie cérébrale plus portables tels que la spectroscopie fonctionnelle dans le proche infrarouge (fNIRS).

« Le fNIRS mesure où il y a plus ou moins de flux sanguin dans le cerveau à différents moments, ce qui, il s’avère, est exactement le même type de signal que l’IRMf mesure », précise Alexander Huth. « Ainsi, notre type exact d’approche devrait se traduire par fNIRS. »

L’étude a été publiée dans la revue Nature Neuroscience , et la vidéo ci-dessous montre comment le décodeur sémantique utilise des enregistrements d’activité cérébrale pour capturer l’essentiel d’une scène de film muet.

https://cns.utexas.edu/news/podcast/brain-activity-decoder-can-reveal-stories-peoples-minds