Crédit : Slade Lab / Harvard SEAS
Pour les personnes aveugles ou malvoyantes, se déplacer de manière autonome représente un défi quotidien. Des chercheurs de Harvard ont mis au point un nouvel outil qui pourrait leur permettre de se déplacer plus rapidement et en toute sécurité grâce à un appareil qu’elles possèdent probablement déjà : un smartphone.
Des ingénieurs de l’École d’ingénierie et de sciences appliquées John A. Paulson (SEAS) ont inventé Mobilio, une nouvelle application pour smartphone qui combine apprentissage automatique, algorithmes optimisant le traitement des données provenant de multiples capteurs et indications audio personnalisées.
Mobilio fournit ainsi aux personnes aveugles ou malvoyantes des instructions de navigation détaillées, un guidage et une aide à l’évitement des obstacles. Ces travaux de recherche ont été menés par Raymond Liu, doctorant, en collaboration avec Patrick Slade, professeur adjoint de bio-ingénierie. Les résultats sont publiés dans la revue Nature Biomedical Engineering .
Pour commencer, les chercheurs ont interrogé plus de 100 personnes aveugles ou malvoyantes afin de comprendre leurs besoins. Les répondants ont souligné trois fonctionnalités essentielles pour les technologies de navigation : des indications de direction fiables, un guidage continu sur les trottoirs et les chemins, ainsi que la détection et l’évitement des obstacles.
Cette vidéo présente les algorithmes de navigation et le retour audio spatial utilisés par le smartphone lors du parcours urbain et du parcours d’obstacles. Crédit : Slade Lab / Harvard SEAS
Combler les lacunes des outils existants
Les outils existants, comme les cannes, les chiens guides et les aides électroniques à la mobilité, répondent partiellement à ces problèmes, mais rarement aux trois simultanément. De plus, nombre de ces systèmes sont coûteux et inaccessibles. Si les logiciels de cartographie GPS proposent une navigation vocale détaillée, leur précision est insuffisante pour permettre à une personne aveugle ou malvoyante de les utiliser en toute sécurité.
À l’inverse, la plupart des gens possèdent déjà un smartphone. L’équipe de Harvard a vu là l’opportunité de proposer une aide à la navigation via une application autonome qui pourrait un jour être téléchargée depuis une boutique d’applications et fonctionner entièrement sur le téléphone.
Conçu pour la vue des piétons
Mobilio exploite les capteurs intégrés du téléphone, notamment l’appareil photo, le GPS, une centrale inertielle sensible au mouvement et à l’orientation et, le cas échéant, le capteur LiDAR. Son principal atout technologique réside dans un modèle de vision par ordinateur personnalisé qui analyse le flux vidéo en direct du point de vue d’un piéton afin de déterminer les itinéraires praticables dans son environnement.
« Notre système utilise les capteurs d’un smartphone, les informations GPS et les mouvements réels de la personne pour créer ce qui est essentiellement un petit plan de véhicule autonome indiquant comment la guider de son point de départ à l’endroit où elle souhaite aller », a déclaré Slade.
Comme la plupart des jeux de données de scènes de rue disponibles publiquement sont issus de prises de vue embarquées, de nombreux modèles standards classent mal les infrastructures importantes pour les piétons, explique Liu. Pour remédier à ce problème, Liu a entraîné un modèle de segmentation sémantique spécifiquement sur des images prises du point de vue des piétons, afin qu’il puisse reconnaître de manière fiable les trottoirs, les passages piétons, les routes et autres surfaces clés lors de la marche.
« Il est nécessaire de recueillir davantage de données provenant du point de vue des personnes qui marchent sur les trottoirs ou à l’extérieur », a ajouté Liu.
Liu a déclaré que l’un des principaux défis de conception consistait à garantir que tous les algorithmes et modèles puissent s’exécuter en temps réel sur un smartphone standard, dont la puissance de calcul est bien inférieure à celle d’un ordinateur portable ou d’un matériel spécialisé.
Des signaux audio adaptés en temps réel
Au lieu de simples instructions vocales, Mobilio fournit des indications sonores continues sous forme de bips pendant que l’utilisateur marche. Ces bips proviennent d’une direction, par exemple la gauche ou la droite, pour indiquer la direction à suivre, et le guidage est personnalisé en temps réel grâce à une optimisation basée sur l’interaction humaine. Pendant que l’utilisateur marche, le système mesure la précision avec laquelle il suit les indications sonores et ajuste automatiquement ces indications et leur tonalité pour une expérience optimale.
Pour évaluer l’application, l’équipe a mené des expériences avec 14 participants volontaires recrutés au Carroll Center for the Blind de Newton, dans le Massachusetts. Chaque participant a réalisé des exercices de navigation : d’abord avec la navigation vocale de Google Maps et une canne blanche, puis avec l’application Mobilio et la canne. Ils ont parcouru un itinéraire extérieur prédéfini ainsi qu’un parcours intérieur parsemé d’obstacles simulant des difficultés environnementales courantes.
Comparativement à l’utilisation de Google Maps et d’une canne, les participants utilisant Mobilio et une canne ont parcouru le trajet extérieur environ 13 % plus rapidement et ont réduit les contacts avec les obstacles sur le trajet intérieur d’environ 41 %. En termes de fiabilité, c’est-à-dire la capacité du système à guider les utilisateurs vers leur destination sans erreurs majeures, les performances de Mobilio étaient comparables à celles d’un guide humain.
Un projet façonné par l’expérience vécue
Au-delà de l’apport technique, ce projet s’inspire d’une expérience personnelle. Liu a un frère aîné aveugle, et le fait de l’aider à se déplacer de manière autonome a fortement influencé les objectifs de ce travail.
L’équipe a souligné que les retours d’information, tant quantitatifs que qualitatifs, de la part de véritables utilisateurs étaient indispensables.
« Il est absolument crucial de faire tester votre appareil par de vraies personnes, car il est impossible de prédire comment quelqu’un va réagir », a déclaré Liu. « Surtout dans le domaine de la cécité et de la déficience visuelle, qui représente un ensemble de handicaps très vaste et diversifié. »
Ensuite, les chercheurs prévoient de tester Mobilio dans un plus large éventail de contextes réalistes autour de Boston afin d’évaluer plus précisément la capacité de généralisation du système et son intégration aux habitudes quotidiennes des utilisateurs.
https://seas.harvard.edu/news/smartphone-navigation-app-people-blindness-and-low-vision
