Des conversations détectées à distance grâce aux vibrations des téléphones portables, selon des chercheurs
Une équipe de chercheurs en informatique a utilisé un capteur radar à ondes millimétriques pour recueillir des conversations à partir des vibrations des smartphones et a adapté un modèle de reconnaissance vocale à grande échelle, en libre accès et intégrant l’intelligence artificielle, afin de décoder ces vibrations et de les transformer en transcriptions vocales reconnaissables.
Une nouvelle forme de surveillance, l’écoute sans fil, explore la possibilité de déchiffrer des conversations à distance grâce aux minuscules vibrations produites par l’écouteur d’un téléphone portable. Afin de protéger la vie privée des utilisateurs contre d’éventuels malfaiteurs, une équipe de chercheurs en informatique de l’Université Penn State aux Etats-Unis, a démontré que des transcriptions d’appels téléphoniques peuvent être générées à partir de mesures radar prises jusqu’à trois mètres d’un téléphone. Bien que la précision reste limitée – environ 60 % pour un vocabulaire allant jusqu’à 10 000 mots –, ces résultats soulèvent d’importantes questions quant aux risques futurs pour la vie privée.
Ils ont publié leurs recherches dans les actes de WiSec 2025 : 18e conférence de l’ACM sur la sécurité et la confidentialité dans les réseaux sans fil et mobiles . Ces travaux s’appuient sur un projet de 2022 dans lequel l’équipe a utilisé un capteur radar et un logiciel de reconnaissance vocale pour identifier sans fil dix mots, lettres et chiffres prédéfinis avec une précision allant jusqu’à 83 %.
« Lorsque nous parlons au téléphone portable, nous avons tendance à ignorer les vibrations qui traversent l’écouteur et font vibrer tout le téléphone », explique Suryoday Basak, premier auteur et doctorant en informatique. « En captant ces mêmes vibrations à l’aide de radars distants et en utilisant l’apprentissage automatique pour nous aider à comprendre ce qui se dit, grâce à des indices contextuels, nous pouvons décrypter des conversations entières. En comprenant les possibilités, nous pouvons sensibiliser le public aux risques potentiels. »
Basak et son directeur de thèse, Mahanth Gowda , professeur associé d’informatique et d’ingénierie, co-auteur de l’article, ont utilisé un capteur radar à ondes millimétriques – la même technologie que celle utilisée dans les voitures autonomes, les détecteurs de mouvement et les réseaux sans fil 5G – pour explorer le potentiel de dispositifs radar compacts, miniaturisés et adaptés à des objets du quotidien comme des stylos. Leur dispositif expérimental est exclusivement destiné à la recherche, ont expliqué les chercheurs, et a été développé en prévision des potentiels agissements d’acteurs malveillants. Ils ont ensuite adapté « Whisper », un modèle de reconnaissance vocale open source à grande échelle optimisé par l’intelligence artificielle (IA), pour décoder les vibrations et en transcriptions vocales reconnaissables.
« Ces trois dernières années, on a assisté à une explosion des capacités d’IA et des modèles de reconnaissance vocale open source », a déclaré Basak. « Nous pouvons utiliser ces modèles, mais ils sont davantage destinés à la reconnaissance vocale claire ou aux cas d’usage quotidien. Nous devons donc les adapter pour reconnaître les données radar de faible qualité et « bruyantes ». »
Suryoday Basak, premier auteur et doctorant en informatique, se prépare à présenter son système d’écoute sans fil lors de la 18e conférence de l’Association of Computing Machinery sur la sécurité et la confidentialité des réseaux sans fil et mobiles (ACM WiSec 2025). Crédit : Fourni par Suryoday Basak . Tous droits réservés .
Pour passer de données bruyantes à une parole reconnaissable sans réentraîner l’ensemble du réseau, les chercheurs ont utilisé une méthode d’adaptation de modèle appelée adaptation de bas rang, qui leur a permis de spécialiser le modèle aux données radar en réentraînant seulement 1 % des paramètres du modèle de Whisper.
Ketut Subiyanto / Pexels
Pour enregistrer les vibrations, les chercheurs ont utilisé un capteur radar à ondes millimétriques placé à quelques mètres du téléphone afin de capter les vibrations subtiles de surface pendant la lecture de la parole dans l’écouteur. Pour analyser les données, ils ont intégré ce signal radar à leur version personnalisée du modèle de reconnaissance vocale Whisper, ce qui a permis d’obtenir une précision allant jusqu’à 60 %. La précision de la transcription pourrait être encore améliorée, selon les chercheurs, en intégrant des corrections manuelles contextuelles, comme l’ajustement de certains mots ou expressions, lorsque la conversation est connue au préalable.
« Le résultat a été la transcription de conversations, avec quelques erreurs à prévoir, ce qui représente une nette amélioration par rapport à notre version 2022, qui ne produit que quelques mots », a déclaré Gowda. « Mais même la détection de correspondances partielles pour des mots-clés, comme des mots-clés, est utile dans un contexte de sécurité. »
Les chercheurs ont comparé les capacités de leur modèle à la lecture labiale : alors que la lecture labiale ne fournit qu’environ 30 à 40 % des mots parlés, de nombreuses personnes qui lisent sur les lèvres utilisent des indices contextuels pour déchiffrer suffisamment de mots pour participer à une conversation.
« De la même manière que les lecteurs labiaux peuvent utiliser des informations limitées pour interpréter les conversations, les résultats de notre modèle, combinés à des informations contextuelles, peuvent nous permettre de déduire des parties d’une conversation téléphonique à quelques mètres de distance », précise Basak. « L’objectif de nos travaux était d’explorer si ces outils pouvaient potentiellement être utilisés par des individus malveillants pour espionner des conversations téléphoniques à distance. Nos résultats suggèrent que cela est techniquement réalisable sous certaines conditions, et nous espérons que cela sensibilisera le public afin qu’il soit plus vigilant lors d’appels sensibles. »