Skip to main content

2 Avr, 2020

Nvidia développe un système léger de suivi du regard en RV utilisant des capteurs à LED

Nvidia développe un système léger de suivi du regard en RV utilisant des capteurs à LED

Tous les principaux fabricants mondiaux de casques de réalité virtuelle s’accordent à dire que le suivi du regard (eye-tracking) va être fondamental pour la prochaine génération de matériel de RV, car la capacité de détecter la position d’un œil en temps réel permet à un ordinateur d’optimiser le rendu des détails, et même de proposer des commandes de curseur sans avoir besoin de mouvements de la main ou de la tête. Mais le matériel de suivi du regard n’est actuellement ni bon marché ni petit, aussi les chercheurs de Nvidia ont-ils trouvé une solution novatrice qui pourrait permettre à la technologie de se répandre.

Le nouveau système de suivi du regard de Nvidia utilise des LEDs communes – leur capacité à émettre et à détecter la lumière – pour simplifier le processus de détermination de la position de l’œil par rapport à un écran. Comme d’autres systèmes de suivi du regard, le système Nvidia utilise un anneau de LED infrarouges pour projeter une lumière invisible dans l’œil, mais ici, les LED sont également utilisées pour la détection sélective des couleurs à partir du même endroit. Cela permet le suivi du regard le plus petit et le moins coûteux jamais développé, notent les chercheurs, tout en égalant la précision et les taux d’échantillonnage des solutions les plus courantes aujourd’hui.

Dans un prototype, Nvidia utilise au total 9 LEDs par œil, dont trois émettent de la lumière infrarouge et six détectent la lumière, tandis qu’un second prototype utilise six LEDs par œil comme capteurs et sources de lumière. Les LEDs consommant peu d’énergie et reposant sur un contrôleur matériel et logiciel relativement simple, elles réduisent la latence globale, diminuent le nombre de caméras nécessaires au casque et suppriment le besoin d’un bloc de traitement d’image supplémentaire dans le pipeline du casque.

Bien que la solution de Nvidia soit suffisamment performante pour fonctionner pour des applications typiques de RV, les chercheurs avertissent qu’elle pourrait ne pas convenir à la lecture, aux applications neurologiques ou à la recherche psychologique. Alors que le système LED a une « bonne » erreur angulaire médiane de 0,7 degrés et une erreur angulaire moyenne aussi faible que 1,1 degrés, les alternatives basées sur la caméra peuvent fournir des résultats de « très haute précision » avec des niveaux d’erreur inférieurs à 0,5 degrés. Nvidia note également que sa phase initiale de calibrage est « comparativement plus longue » que celle d’autres solutions, qui dans de nombreux cas utilisent un système « regardez ici, ici, ici et ici » pour se synchroniser avec les yeux, et doivent se recalibrer si le visage du porteur bouge par rapport au matériel de détection.

Le système à LED de détection du regard de Nvidia est encore au stade de prototype, il n’est donc pas encore prêt à défier les solutions Tobii des casques HTC et Pico VR, ou l’alternative 7invensun sélectionnée pour Nreal Light. Mais il pourrait faire son chemin dans la prochaine génération de casques RV, permettant une nouvelle classe de modèles peu coûteux et légers avec de meilleures performances – en supposant que les chercheurs puissent trouver des moyens de rendre le processus de calibration assez rapide pour ne pas ennuyer les utilisateurs.

https://venturebeat.com/2020/03/24/nvidia-develops-lightweight-vr-gaze-tracking-system-using-led-sensors/

https://arxiv.org/pdf/2003.08499.pdf