Mose Sakashita, doctorant de l’université Cornell dans le domaine des sciences de l’information, avec le système VRoxy.

En fin de compte, la plupart des robots de téléprésence sont essentiellement des tablettes télécommandées que l’on peut diriger dans une pièce. Le système VRoxy est différent en ce sens que son robot reproduit les mouvements de l’utilisateur et qu’il se pilote automatiquement à différents endroits dans un espace donné.

Le système est développé par une équipe de chercheurs des universités Cornell et Brown.

Dans sa forme actuelle de prototype fonctionnel, le robot VRoxy se compose d’un corps tubulaire en plastique avec des roues omnidirectionnelles motorisées en bas et un écran vidéo en haut. Au sommet se trouvent également un doigt pointeur robotisé et un appareil photo Ricoh Theta V à 360 degrés.

L’utilisateur à distance porte simplement un casque Quest Pro VR au bureau, à la maison ou dans n’importe quel autre endroit. VRoxy se distingue ainsi de nombreux autres systèmes de téléprésence à reproduction gestuelle, qui nécessitent des installations relativement importantes et complexes, tant chez l’utilisateur que chez l’observateur.

Grâce au casque, l’utilisateur peut passer d’une vue immersive en direct de la caméra à 360 degrés du robot à une vue cartographique en 3D pré-scannée de l’ensemble de l’espace dans lequel se trouve le robot. Une fois que l’utilisateur a sélectionné une destination sur la carte, le robot s’y rend de manière autonome (à condition qu’il n’y soit pas déjà). À son arrivée, le casque revient automatiquement à la vue à la première personne de la caméra du robot.

Non seulement cette fonctionnalité évite à l’utilisateur de devoir « conduire » manuellement le robot d’un endroit à l’autre, mais elle lui évite également le vertige que peut provoquer le visionnage d’un flux vidéo en direct du robot pendant qu’il se déplace.

François Guimbretière, professeur à Cornell, travaillant sur le système VRoxy.

Le casque VR surveille les expressions faciales et les mouvements oculaires de l’utilisateur et les reproduit en temps réel sur un avatar de l’utilisateur, qui est affiché sur l’écran du robot. Le casque enregistre également les mouvements de la tête, que le robot imite en faisant pivoter ou basculer l’écran en conséquence grâce à une monture articulée.

Et lorsque l’utilisateur pointe physiquement son doigt vers quelque chose dans le champ de vision du casque, le doigt pointeur du robot se déplace pour pointer dans la même direction dans le monde réel. À terme, les chercheurs espèrent équiper le robot de deux bras contrôlés par l’utilisateur.

Lors d’un test du système VRoxy existant, l’équipe l’a déjà utilisé pour naviguer dans un couloir entre un laboratoire et un bureau, où un utilisateur collaborait avec différentes personnes sur différentes tâches.

L’étude est dirigée par Mose Sakashita, Hyunju Kim, Ruidong Zhang et François Guimbretière de l’université Cornell, ainsi que par Brandon Woodard de l’université Brown. Elle est décrite dans un document présenté à l’ACM Symposium on User Interface Software and Technology à San Francisco.

https://infosci.cornell.edu/~mose/papers/UIST2023_VRoxy.pdf

https://news.cornell.edu/stories/2023/10/robot-stand-mimics-your-movements-vr