Des chercheurs de l’Université de Washington ont mis au point VueBuds, un système qui utilise de minuscules caméras intégrées à des écouteurs sans fil du commerce pour permettre aux utilisateurs de dialoguer avec un modèle d’intelligence artificielle au sujet de la scène qui se trouve devant eux. L’image montre les écouteurs modifiés avec la caméra insérée. Photo : Kim et al./CHI ’26

Des chercheurs de l’Université de Washington ont mis au point le premier système intégrant de minuscules caméras dans des écouteurs sans fil grand public, permettant ainsi aux utilisateurs de dialoguer avec un modèle d’intelligence artificielle au sujet de ce qui se trouve devant eux. Par exemple, un utilisateur pourrait se tourner vers un emballage de nourriture coréenne et dire : « Hey Vue, traduis-moi ça. » Il entendrait alors une voix d’IA répondre : « Le texte visible se traduit par “Nouilles froides” en anglais. »

Le système prototype VueBuds capture des images en noir et blanc basse résolution qu’il transmet par Bluetooth à un téléphone ou à un autre appareil à proximité. Un petit modèle d’intelligence artificielle intégré à l’appareil répond ensuite aux questions concernant les images en une seconde environ. Pour garantir la confidentialité, tout le traitement est effectué sur l’appareil, un voyant s’allume pendant l’enregistrement et les utilisateurs peuvent supprimer les images immédiatement. 

L’équipe a présenté ses recherches le 14 avril lors de la conférence de l’Association for Computing Machinery sur les facteurs humains dans les systèmes informatiques à Barcelone. 

« Les lunettes connectées et les casques de réalité virtuelle restent encore largement inutilisés, notamment parce que beaucoup de gens n’aiment pas porter de lunettes et que leur utilisation soulève souvent des problèmes de confidentialité , comme l’enregistrement et le traitement de vidéos haute résolution dans le cloud », explique Shyam Gollakota , professeur à l’École d’informatique et d’ingénierie Paul G. Allen de l’Université de Washington et auteur principal de l’étude. « En revanche, presque tout le monde porte déjà des écouteurs. Nous avons donc voulu vérifier s’il était possible d’intégrer l’intelligence visuelle à de minuscules écouteurs basse consommation, tout en répondant aux préoccupations liées à la protection de la vie privée. »

Les caméras consomment beaucoup plus d’énergie que les microphones intégrés aux écouteurs ; par conséquent, l’utilisation de caméras haute résolution similaires à celles des lunettes connectées serait impossible. De plus, la transmission continue de gros volumes de données via Bluetooth empêche le système de diffuser une vidéo en continu. 

L’équipe a découvert que l’utilisation d’un appareil photo à faible consommation — de la taille d’un grain de riz environ — pour prendre des photos fixes en noir et blanc à basse résolution limitait la consommation de la batterie et permettait la transmission Bluetooth tout en préservant les performances.

Il y avait aussi la question du placement. 

« Une question importante que nous nous posions était la suivante : votre visage va-t-il trop obstruer la vue ? Les caméras intégrées aux écouteurs peuvent-elles capturer de manière fiable la vision du monde de l’utilisateur ? », a déclaré Maruchi Kim , auteur principal de l’étude , qui a réalisé ce travail dans le cadre de son doctorat à l’École Allen de l’Université de Washington. 

L’équipe a constaté qu’un angle de 5 à 10 degrés vers l’extérieur pour chaque caméra offre un champ de vision de 98 à 108 degrés. Bien que cela crée un léger angle mort lorsque les objets sont tenus à moins de 20 centimètres de l’utilisateur, on examine rarement des objets aussi près, ce qui rend ce problème négligeable pour les interactions courantes.

Les chercheurs ont également découvert que si le modèle de langage visuel parvenait en grande partie à interpréter les images de chaque écouteur, le traitement simultané des images des deux écouteurs le ralentissait. Ils ont donc fait en sorte que le système « assemble » les deux images en une seule, en identifiant les zones de chevauchement et en les combinant. Cela permet au système de répondre en une seconde – un temps suffisamment court pour que les utilisateurs aient l’impression d’un temps réel – au lieu des deux secondes nécessaires avec des images séparées.

L’équipe a ensuite demandé à 74 participants de comparer les enregistrements de VueBuds avec ceux des lunettes Ray-Ban Meta lors d’une série de tests. Malgré l’utilisation d’images basse résolution par VueBuds, offrant un meilleur contrôle de la confidentialité, et d’images haute résolution traitées dans le cloud par les Ray-Ban, les deux systèmes ont obtenu des résultats équivalents. Les participants ont préféré les traductions de VueBuds, tandis que les Ray-Ban se sont avérées plus performantes pour le comptage d’objets.

Seize participants ont également porté des VueBuds et testé la capacité du système à traduire des objets et à répondre à des questions simples à leur sujet. VueBuds a atteint une précision de 83 à 84 % pour la traduction ou l’identification d’objets et de 93 % pour l’identification de l’auteur et du titre d’un livre.

Cette étude visait à évaluer la faisabilité de l’intégration de caméras dans des écouteurs sans fil. Le système ne prenant que des images en niveaux de gris, il ne peut répondre aux questions nécessitant la présence de couleurs dans la scène. 

L’équipe souhaite ajouter de la couleur au système — les caméras couleur nécessitent plus d’énergie — et former des modèles d’IA spécialisés pour des cas d’utilisation spécifiques, tels que la traduction.  

« Cette étude nous donne un aperçu des possibilités offertes par un modèle de langage généraliste et nos écouteurs sans fil équipés de caméras », assure Kim. « Mais nous souhaitons étudier le système plus en profondeur pour des applications telles que la lecture de livres – pour les personnes malvoyantes ou aveugles, par exemple – ou la traduction de textes pour les voyageurs. » 

https://www.washington.edu/news/2026/04/14/cameras-in-wireless-earbuds-vuebuds