Skip to main content

15 Déc, 2023

Une IA portable, non invasive lit dans les pensées et les transforme en texte

Une IA portable, non invasive lit dans les pensées et les transforme en texte

Des chercheurs du centre d’intelligence artificielle centrée sur l’humain GrapheneX-UTS en Australie, ont développé un système portable et non invasif capable de décoder les pensées silencieuses et de les transformer en texte.

Dans le cadre d’une première mondiale, des chercheurs du Centre d’intelligence artificielle centrée sur l’humain GrapheneX-UTS de l’Université de technologie de Sydney (UTS) ont développé un système portable et non invasif capable de décoder les pensées silencieuses et de les transformer en texte. 

La technologie pourrait faciliter la communication pour les personnes incapables de parler en raison d’une maladie ou d’une blessure, notamment d’un accident vasculaire cérébral ou d’une paralysie. Cela pourrait également permettre une communication transparente entre les humains et les machines, comme le fonctionnement d’un bras ou d’un robot bionique.

L’étude a été sélectionnée comme article phare du la Conférence NeurIPS, une réunion annuelle de premier plan qui présente la recherche de pointe mondiale sur l’intelligence artificielle et l’apprentissage automatique, qui s’est tenue à la Nouvelle-Orléans aux Etats-Unis

La recherche a été menée par le Professeur émérite CT Lin, directeur du Centre GrapheneX-UTS HAI, en collaboration avec le premier auteur Yiqun Duan et son collègue doctorant Jinzhou Zhou de la Faculté de Ingénierie et informatique.

Dans l’étude, les participants lisaient silencieusement des passages de texte tout en portant une casquette qui enregistrait l’activité électrique cérébrale à travers leur cuir chevelu à l’aide d’un électroencéphalogramme (EEG). Une démonstration de la technologie peut être vue dans cette vidéo. 

Transcription

L’onde EEG est segmentée en unités distinctes qui capturent des caractéristiques et des schémas spécifiques du cerveau humain. Ceci est réalisé par un modèle d’IA appelé DeWave développé par les chercheurs. DeWave traduit les signaux EEG en mots et en phrases en apprenant à partir de grandes quantités de données EEG. 

« Cette recherche représente un effort pionnier dans la traduction des ondes EEG brutes directement en langage, marquant une avancée significative dans ce domaine », a déclaré le professeur distingué Lin.

« Il est le premier à intégrer des techniques de codage discret dans le processus de traduction cerveau-texte, introduisant ainsi une approche innovante du décodage neuronal. L’intégration de grands modèles de langage ouvre également de nouvelles frontières en neurosciences et en IA », a-t-il déclaré.

Les technologies précédentes permettant de traduire les signaux cérébraux en langage nécessitaient soit une intervention chirurgicale pour implanter des électrodes dans le cerveau, comme Neuralink d’Elon Musk, ou scanner dans un appareil IRM, qui est volumineux, coûteux et difficile à utiliser dans la vie quotidienne.

Ces méthodes ont également du mal à transformer les signaux cérébraux en segments au niveau des mots sans aides supplémentaires telles que comme le suivi oculaire, ce qui limite l’application pratique de ces systèmes. La nouvelle technologie peut être utilisée avec ou sans eye-tracking (suivi des yeux)

La recherche UTS a été réalisée avec 29 participants. Cela signifie qu’elle sera probablement plus robuste et adaptable que la technologie de décodage précédente qui n’a été testée que sur un ou deux individus, car les ondes EEG diffèrent d’un individu à l’autre. 

L’utilisation de signaux EEG reçus via un capuchon, plutôt que depuis des électrodes implantées dans le cerveau, signifie que le signal est plus bruyant. Cependant, en termes de traduction EEG, l’étude a fait état de performances de pointe, dépassant les références précédentes.

« Le modèle est plus apte à faire correspondre les verbes que les noms. Cependant, en ce qui concerne les noms, nous avons constaté une tendance vers des paires de synonymes plutôt que des traductions précises, comme « l’homme » au lieu de « l’auteur », a déclaré Yiqun Duan.

« Nous pensons que cela parce que lorsque le cerveau traite ces mots, des mots sémantiquement similaires peuvent produire des modèles d’ondes cérébrales similaires. Malgré les défis, notre modèle produit des résultats significatifs, en alignant les mots-clés et en formant des structures de phrases similaires », a-t-il déclaré.

Le score de précision de la traduction est actuellement d’environ 40 % sur BLEU-1. Le score BLEU est un nombre compris entre zéro et un qui mesure la similitude du texte traduit automatiquement avec un ensemble de traductions de référence de haute qualité. Les chercheurs espèrent voir ce chiffre s’améliorer à un niveau comparable aux programmes traditionnels de traduction ou de reconnaissance vocale, qui sont plus proches de 90 %.

La recherche fait suite à la précédente technologie d’interface cerveau-ordinateur développée par l’UTS en association avec les forces de défense australiennes, qui utilise les ondes cérébrales pour commander un robot quadrupède, comme en témoigne cette vidéo ADF.

https://www.uts.edu.au/news/tech-design/portable-non-invasive-mind-reading-ai-turns-thoughts-text