Le projet de gants haptiques pour les applications VR/AR implique des développements en robotique douce, en microfuidique, en technologie de suivi, en création de nouveaux textiles, etc.

Le mois dernier, le géant des médias sociaux Facebook s’est rebaptisé Meta et a révélé sa vision de l’avenir des interactions en ligne. Jusqu’à présent, la plupart des informations ont porté sur ce que les utilisateurs immergés verront, mais l’entreprise s’efforce également d’introduire le toucher dans le Metaverse.

Au cours des sept dernières années environ, Sean Keller a constitué une équipe au sein de la plateforme de développement AR/VR Reality Labs de la société pour travailler sur une paire de gants haptiques doux et légers capables d’imiter de manière réaliste la sensation du toucher dans le monde virtuel.

Nous avons déjà assisté à de nombreux développements dans ce domaine : ils ont permis aux joueurs de ressentir l’action, de rendre les formations virtuelles plus réalistes, de donner de la présence aux objets générés par ordinateur et même de combler le fossé physique dans les relations à distance. Mais Meta cherche à permettre tout cela et bien plus encore.

« Nous créons presque tout ce qui concerne cette discipline à partir de zéro », a déclaré Sean Keller. « Nous apprenons comment les gens perçoivent les sensations du toucher et comment ils accomplissent des tâches. Nous découvrons comment s’adapter à la grande variété de formes et de tailles des mains humaines, tout en maintenant un couplage mécanique avec l’utilisateur. Nous repoussons les limites de ce qui est possible avec la robotique douce et les systèmes de suivi instrumentés. Et nous inventons des matériaux souples et des technologies de fabrication entièrement nouveaux – c’est une rupture nette avec le passé. »

Comme vous pouvez le constater, le projet est en cours, mais l’équipe de Reality Labs aurait fait des progrès considérables depuis sa création, il y a sept ans.

La création d’un vêtement réaliste implique d’aligner un grand nombre de dominos techniques afin que l’expérience virtuelle soit aussi proche que possible de l’interaction tactile du monde réel. Jusqu’à présent, l’équipe du projet a choisi de puiser dans le monde de la robotique douce pour piloter l’haptique réelle, car elle s’est vite rendu compte que le montage d’un tas de moteurs et de câbles encombrants sur les gants non seulement alourdirait considérablement les vêtements, mais générerait également des quantités de chaleur inconfortables.

Le système Reality Labs utilise un certain nombre de coussinets à l’intérieur des doigts, qui sont gonflés d’air pour appliquer une pression sur la peau de l’utilisateur. Le degré de pression varie en fonction de l’objet virtuel touché et de la façon dont il est manipulé, mais pour faciliter l’application en temps réel, l’équipe est en train de concevoir un nouveau processeur microfluidique à haute vitesse pour contrôler précisément les actionneurs et obtenir un temps de réponse plus rapide et plus naturel.

Plutôt que d’utiliser des actionneurs mécaniques encombrants, l’équipe met au point de minuscules actionneurs pneumatiques et électroactifs pour son gant haptique VR/AR.

Le système informatique qui gère le spectacle ne doit pas se contenter de savoir où se trouvent les mains du porteur dans l’espace virtuel à un moment donné, il doit également enregistrer le contact avec les objets, leur donner une sorte de présence réelle et déterminer comment l’utilisateur interagit avec eux. En plus de travailler sur une nouvelle technologie de suivi des mains, l’équipe met au point un nouveau type de logiciel de rendu pour obtenir des sensations réalistes en temps réel, ainsi que des outils logiciels permettant aux créateurs de créer du contenu haptique avec une relative facilité.

Une autre partie du projet a consisté à développer des matériaux légers, flexibles et confortables pour les gants. Des polymères personnalisés peu coûteux sont créés et peuvent être filés en fibres dotées de propriétés de conduction, de capacité et de détection. L’équipe chargée des matériaux étudie également les moyens de fournir une sorte d’ajustement personnalisé pour les utilisateurs à l’avenir, car une approche unique ne fonctionnera pas pour un produit de masse tel que celui-ci.

De nombreux progrès ont déjà été réalisés, mais il reste encore beaucoup de travail à faire avant qu’une expérience haptique crédible quitte le laboratoire et soit proposée aux consommateurs – initialement, le système serait destiné aux utilisateurs portant un casque VR, mais l’équipe a pour objectif de rendre ces gants compatibles avec les lunettes AR également. L’installation expérimentale est actuellement un monstre de technologie, avec une attache assez importante, et devra donc perdre beaucoup de volume avant le lancement sur le marché de masse.

Mark Zuckerberg aux prises avec un prototype de gant haptique

« Lorsque nous avons lancé le projet de gant haptique, nous nous sommes demandé si nous pouvions construire un dispositif grand public abordable et pouvant être produit en masse, permettant aux gens de faire l’expérience de n’importe quelle interface tangible, où qu’ils soient », a déclaré Sean Keller. « Nous ne pouvions pas le faire – pas sans inventer de nouveaux matériaux, de nouveaux capteurs et actionneurs, de nouvelles méthodes d’intégration et de systèmes, de nouveaux algorithmes de rendu, de nouveaux moteurs physiques, la liste est longue. Ce n’était tout simplement pas possible, mais nous avons forgé une voie qui est plausible et qui pourrait nous permettre d’y arriver. »

Et les découvertes faites en cours de route pourraient trouver des applications ailleurs.

« Les possibilités de cette recherche sont immenses », a ajouté le directeur de l’ingénierie matérielle de l’équipe, Tristan Trutna. « Bien que nous nous concentrions sur la construction d’un gant haptique, les percées que nous faisons dans le domaine de la commutation et du contrôle des fluides – sans parler de la robotique douce – pourraient conduire à des avancées radicales pour l’industrie médicale dans le domaine du diagnostic des laboratoires sur puce, de la biochimie microfluidique, et même des dispositifs portables et d’assistance. »

https://www.facebook.com/watch/?v=4613917515351815

https://tech.fb.com/inside-reality-labs-meet-the-team-thats-bringing-touch-to-the-digital-world/