Le système expérimental Typealike est actuellement précis à 97 % dans l’identification de 36 gestes de la main différents.

S’il est déjà possible de contrôler des ordinateurs par des gestes de la main, cela implique généralement l’utilisation de dispositifs électroniques périphériques ou de matériel intégré spécial. Le système Typealike, en revanche, apporte cette fonctionnalité aux ordinateurs existants, sans qu’il soit nécessaire d’ajouter des composants électroniques.

Actuellement en cours de développement à l’université canadienne de Waterloo, Typealike se compose de deux éléments : un petit miroir incliné vers le bas, placé au-dessus de la webcam de l’ordinateur, et un logiciel d’apprentissage automatique fonctionnant sur cet ordinateur.

Lorsque l’utilisateur souhaite augmenter le volume du haut-parleur – ce qui n’est qu’un exemple des capacités du système – il lui suffit de faire un geste du pouce vers le haut avec une main qui reste à côté du clavier. Le logiciel reconnaît ce geste et augmente le volume en conséquence.

« Tout a commencé par une simple idée sur les nouvelles façons d’utiliser une webcam », explique Nalin Chhibber, récemment diplômé de la Cheriton School of Computer Science de Waterloo. « La webcam est dirigée vers votre visage, mais la plupart des interactions sur un ordinateur se font autour de vos mains. Nous nous sommes donc demandé ce que nous pourrions faire si la webcam pouvait capter les gestes de la main. »

De plus, en orientant la vue de la webcam vers les mains, les utilisateurs n’auront pas à craindre pour leur vie privée si Typealike regarde constamment leur visage.

Les mains de chacun ayant une apparence et des mouvements différents, les chercheurs ont fait appel à 30 volontaires pour créer une base de données vidéo des 36 gestes actuellement utilisés par le système. Un algorithme d’apprentissage automatique a ensuite été formé sur cette base de données, apprenant à reconnaître chaque geste de manière cohérente malgré les variations des mains et des conditions d’éclairage.

Le système est actuellement précis à 97 % dans l’identification des gestes. Une fois développé, Typealike pourrait également être utilisé dans des environnements de réalité virtuelle, rendant les contrôleurs manuels inutiles.

« Nous nous efforçons toujours de créer des objets que les gens peuvent utiliser facilement », déclare le professeur associé Daniel Vogel. « Les gens regardent quelque chose comme Typealike, ou d’autres nouvelles technologies dans le domaine de l’interaction homme-machine, et ils disent que c’est tout simplement logique. C’est ce que nous voulons. »

https://dl.acm.org/doi/10.1145/3486952

https://uwaterloo.ca/news/media/system-recognizes-hand-gestures-expand-computer-input