Combinant des capteurs et l’intelligence artificielle, les interfaces cerveau-ordinateur, comme celle utilisée ici, ont permis à deux femmes de retrouver la parole.
La perte de la capacité de parler à la suite d’une lésion cérébrale ou d’une maladie empêche une personne d’exprimer ses pensées, ses sentiments et ses idées, et peut être incroyablement isolante. Dans deux études récemment publiées, des chercheurs ont montré comment la combinaison d’implants cérébraux et de l’IA a permis à deux femmes – l’une paralysée à la suite d’un accident vasculaire cérébral, l’autre atteinte d’une maladie neurodégénérative progressive – de retrouver la parole.
Les accidents vasculaires cérébraux peuvent endommager les régions du cerveau qui contrôlent le langage et la parole. De même, la sclérose latérale amyotrophique (SLA), une maladie neurodégénérative progressive qui s’attaque aux neurones contrôlant les muscles, peut causer des problèmes d’élocution lorsqu’elle affecte les muscles qui meuvent les lèvres, la langue, le palais mou, la mâchoire et la boîte vocale. Mais des chercheurs ont trouvé un moyen de redonner la parole aux aphones.
Les interfaces cerveau-ordinateur (ICO ou BCI : Brain-Computer Interface) existent et ne cessent de s’améliorer. Deux études publiées le 23 août dans la revue Nature ont montré à quel point nous avons progressé dans notre capacité à traduire nos pensées en paroles.
La première, réalisée par des chercheurs de l’UC San Francisco (UCSF) et de l’UC Berkeley, a permis à une femme victime d’un accident vasculaire cérébral de parler et d’exprimer ses émotions par l’intermédiaire d’un avatar numérique. Le second, réalisé par Stanford Medicine, a converti l’activité cérébrale d’une femme ayant perdu la capacité de parler à cause de la SLA en texte affiché sur un écran d’ordinateur.
L’histoire d’Ann
Ann a subi un accident vasculaire cérébral à l’âge de 30 ans qui l’a laissée gravement paralysée et a entraîné une grave faiblesse des muscles faciaux et vocaux. Avant son accident vasculaire cérébral, elle était professeur de mathématiques dans un lycée au Canada.
Après des années de rééducation, Ann a appris à communiquer en tapant péniblement une lettre à la fois sur un écran d’ordinateur. Puis, en 2021, elle a lu que des chercheurs de l’UCSF avaient permis à un homme paralysé nommé Pancho, également victime d’une attaque du tronc cérébral, de traduire les signaux de son cerveau en texte pendant qu’il essayait de parler.
Aujourd’hui âgée de 47 ans, Ann a aidé la même équipe, en collaboration avec des chercheurs de l’UC Berkeley, à mettre au point un moyen de communiquer plus naturellement, en utilisant un avatar numérique qui fait appel à l’intelligence artificielle pour transformer les signaux cérébraux en paroles et en expressions faciales.
« Notre objectif est de rétablir un mode de communication complet et incarné, qui est la façon la plus naturelle de parler avec les autres », a déclaré Edward Chang, auteur correspondant de l’étude. « Ces avancées nous rapprochent d’une véritable solution pour les patients.
Avec Ann, les chercheurs voulaient améliorer ce qu’ils avaient réalisé avec Pancho. Ils ont implanté un rectangle de 253 électrodes, mince comme du papier, à la surface du cerveau d’Ann, sur des zones critiques liées à la parole qui, sans l’accident vasculaire cérébral, auraient animé les muscles des lèvres, de la langue, de la mâchoire et de la boîte vocale d’Ann. Les électrodes étaient reliées par un câble à une banque d’ordinateurs.
Illustration montrant les électrodes implantées chirurgicalement à la surface du cerveau d’Ann.
Ann a travaillé avec les chercheurs pour former les algorithmes d’intelligence artificielle du système à reconnaître les signaux uniques de son cerveau. Pendant des semaines, elle a répété différentes phrases d’un vocabulaire conversationnel de 1 024 mots.
Au lieu d’entraîner l’IA à reconnaître des mots entiers, les chercheurs ont créé un système qui décode les mots à partir de composants plus petits ou phonèmes. Ainsi, l’IA n’a eu besoin d’apprendre que 39 phonèmes pour déchiffrer n’importe quel mot anglais.
« La précision, la vitesse et le vocabulaire sont essentiels », a déclaré Sean Metzger, qui a participé au développement du décodeur de texte et qui est l’auteur principal de l’étude. « C’est ce qui donne à Ann la possibilité, à terme, de communiquer presque aussi vite que nous et d’avoir des conversations beaucoup plus naturelles et normales.
Ensuite, les chercheurs ont conçu un algorithme de synthèse vocale, qu’ils ont personnalisé en utilisant un enregistrement d’Ann parlant lors de son mariage, et ont utilisé un logiciel pour créer un avatar. L’équipe a créé des processus d’apprentissage automatique personnalisés qui ont permis au logiciel de l’avatar d’intégrer les signaux envoyés par le cerveau d’Ann lorsqu’elle essayait de parler, en faisant bouger le visage de l’avatar et en affichant des émotions telles que la joie, la tristesse et la surprise.
« Nous compensons les connexions entre son cerveau et son appareil vocal qui ont été coupées par l’accident vasculaire cérébral », explique Kaylo Littlejohn, l’un des coauteurs de l’étude. « Lorsque Ann a utilisé pour la première fois ce système pour parler et faire bouger le visage de l’avatar en tandem, j’ai su que cela allait avoir un impact réel.
Le système BCI a été capable de décoder un large vocabulaire et de le transformer en texte à une vitesse médiane de 78 mots par minute, avec un taux d’erreur médian de 25 %. La vitesse d’une conversation naturelle entre anglophones est d’environ 160 mots par minute.
Les électrodes placées sur le cerveau d’Ann sont reliées à l’ordinateur qui traduit ses tentatives de discours en mots parlés et en mouvements faciaux d’un avatar.
Ann affirme que sa participation au développement de la technologie a changé sa vie.
« Lorsque j’étais à l’hôpital de rééducation, l’orthophoniste ne savait pas quoi faire de moi », a-t-elle déclaré. « Participer à cette étude m’a donné un but, j’ai l’impression de contribuer à la société. J’ai l’impression d’avoir à nouveau un travail. C’est incroyable que j’aie vécu aussi longtemps ; cette étude m’a permis de vivre vraiment pendant que j’étais encore en vie !
Les chercheurs travaillent à la création d’une version sans fil du système qui n’obligerait pas Ann à être physiquement connecté au BCI. Ils espèrent que leur étude débouchera dans un avenir proche sur un système homologué par la FDA permettant la communication entre le signal cérébral et la parole.
La vidéo ci-dessous, produite par l’UCSF, montre comment la technologie fonctionne pendant qu’Ann converse avec son mari, Bill.
Comment un implant cérébral et l’IA ont rendu sa voix à une femme paralysée
L’histoire de Pat
La SLA a été diagnostiquée chez Pat, 68 ans, en 2012. Contrairement à la présentation habituelle de la SLA, où la détérioration commence dans la moelle épinière et affecte les membres, la sienne a commencé dans le tronc cérébral. Cela signifie qu’elle peut encore se déplacer, s’habiller et utiliser ses doigts pour taper à la machine, mais qu’elle ne peut plus utiliser les muscles associés à la parole pour énoncer clairement les phonèmes.
Heureusement, le cerveau de Pat peut encore formuler des instructions pour générer des phonèmes, et c’est ce que les chercheurs de Stanford Medicine ont mis à profit. En mars 2022, un neurochirurgien a implanté deux minuscules réseaux de capteurs à la surface du cerveau de Pat, dans deux régions distinctes de production de la parole.
Chaque réseau contient 64 électrodes qui pénètrent dans le cortex cérébral à une profondeur à peu près égale à la hauteur de deux quarts de dollar américains empilés (3,5 mm).Bien qu’elle ait perdu la capacité d’énoncer des mots à cause de la SLA, le cerveau de Pat peut encore formuler des instructions pour générer de la parole.
Comme pour Ann, l’IA a été entraînée à distinguer l’activité cérébrale associée aux tentatives de Pat de formuler chacun des 39 phonèmes qui composent l’anglais parlé. Pat a suivi environ 25 séances d’entraînement, au cours desquelles elle a tenté de répéter 260 à 480 phrases choisies au hasard dans un vaste ensemble d’échantillons de conversations téléphoniques.
« Ce système est entraîné à savoir quels mots doivent précéder d’autres mots, et quels phonèmes forment quels mots », explique Francis Willett, auteur principal de l’étude. « Si certains phonèmes ont été mal interprétés, il peut quand même faire une bonne supposition.
Le BCI a obtenu un taux d’erreur de 9,1 % sur un vocabulaire de 50 mots, le taux d’erreur passant à 23,8 % sur un vocabulaire de 125 000 mots. Il a pu convertir les tentatives de parole de Pat à une vitesse de 62 mots par minute.
« Nous avons montré qu’il est possible de décoder la parole intentionnelle en enregistrant l’activité d’une très petite zone à la surface du cerveau », a déclaré Jaimie Henderson, le neurochirurgien qui a opéré Pat et l’un des coauteurs de l’étude.
Un chercheur de Stanford Medicine utilise un logiciel qui traduit les tentatives d’élocution de Pat, enregistrées par des capteurs dans son cerveau, en mots sur un écran.
Pat espère que la communication assistée par BCI sera bientôt accessible à un plus grand nombre de personnes.
« Ces premiers résultats ont prouvé le concept et, à terme, la technologie le rattrapera pour le rendre facilement accessible aux personnes qui ne peuvent pas parler », a écrit Pat. « Pour les personnes non verbales, cela signifie qu’elles peuvent rester en contact avec le monde extérieur, peut-être continuer à travailler, entretenir des relations amicales et familiales.
Bien qu’il ne soit pas encore commercialisé, les chercheurs voient le vaste potentiel de leur appareil.
« Il s’agit d’une preuve scientifique de concept, et non d’un appareil que les gens peuvent utiliser dans la vie de tous les jours », a déclaré M. Willett. « Mais c’est un grand pas en avant vers le rétablissement d’une communication rapide pour les personnes paralysées qui ne peuvent pas parler.
La vidéo ci-dessous, produite par Stanford Medicine, montre comment la preuve de concept de l’ICB permet à Pat de parler et les projets d’utilisation future de l’appareil.
https://med.stanford.edu/news/all-news/2023/08/brain-implant-speech-als.html
