Un système d’intelligence artificielle et des caméras (non illustrées) pourraient aider les malvoyants à s’orienter en toute sécurité dans les rues.
Les véhicules et les robots autonomes utilisent des ensembles élaborés de capteurs et de caméras pour comprendre leur environnement, mais les personnes malvoyantes se débrouillent toujours avec des cannes et des chiens d’aveugle. Aujourd’hui, des ingénieurs ont mis au point un système portable à commande vocale capable de suivre les obstacles en temps réel et de décrire l’environnement d’une personne.
Ce nouveau système d’assistance visuelle est composé de plusieurs éléments qui peuvent être portés sans trop d’encombrement par rapport à ce que vous portez déjà lorsque vous sortez de chez vous. Il s’agit simplement d’un gilet ou d’un sac banane, d’un sac à dos et d’une paire d’écouteurs. L’équipe explique que la dissimulation de l’électronique était un objectif clé, afin que les utilisateurs n’aient pas l’air de cyborgs se promenant dans la rue.
Le gilet ou le sac banane contient une série de caméras – une caméra 4K qui fournit des informations sur les couleurs, et une paire de caméras stéréoscopiques qui cartographient la profondeur de champ. Ces informations visuelles sont ensuite transmises au cerveau de l’opération, caché dans le sac à dos.
Là, une unité informatique telle qu’un ordinateur portable ou un Raspberry Pi fait fonctionner une interface d’intelligence artificielle baptisée OpenCV’s Artificial Intelligence Kit with Depth (OAK-D), qui utilise des réseaux neuronaux pour analyser les données visuelles. Le sac à dos contient également une batterie portable offrant jusqu’à huit heures d’autonomie, ainsi qu’une unité GPS connectée par USB.
Vues du système d’IA du sac à dos
Les données visuelles analysées sont ensuite transmises par Bluetooth à une paire d’écouteurs, permettant à l’utilisateur de savoir ce qui l’entoure. Le système peut signaler des obstacles de différentes formes, tailles et types, et indiquer leur position par rapport à l’utilisateur, à l’aide de descripteurs tels que l’avant, le haut, le bas, la gauche, la droite et le centre.
Ainsi, par exemple, le système peut informer quelqu’un qui marche dans la rue qu’il s’approche d’une poubelle en « bas, à gauche » ou d’une branche basse en « haut, au centre ». Les risques de trébuchement, comme les bordures de trottoir ou les escaliers, peuvent être repérés comme des changements d’élévation, et le système peut même reconnaître des éléments clés comme les panneaux de stop ou les passages pour piétons à l’approche d’un coin de rue.
Les utilisateurs peuvent également émettre des commandes vocales pour demander plus d’informations. En disant « décrire », le système répondra avec une liste de ce qui se trouve autour de lui et où, comme « voiture à 10 heures », « personne à 12 heures » et « feu de signalisation à 1 heure ».
Il est également possible d’enregistrer des lieux spécifiques pour s’y référer ultérieurement grâce à des commandes telles que « enregistrer l’emplacement, café ». Plus tard, lorsque vous voudrez y retourner, l’utilisateur pourra dire « localiser le café » et le système vous indiquera le chemin à suivre et la distance à parcourir.
D’autres aides high-tech pour les malvoyants font leur apparition, comme les cannes à rayon laser qui détectent les objets et les changements de terrain, ou le collier de guidage de Toyota qui émet un signal sonore à gauche ou à droite pour indiquer la direction à prendre. Mais ce nouveau système semble beaucoup plus détaillé et pourrait permettre aux personnes ayant une vision limitée de naviguer dans le monde de manière indépendante.
Il est encore tôt, mais l’équipe espère accélérer la mise au point du système en rendant le projet non commercial et open source.
