Que peuvent nous apprendre les chiens sur la façon dont les robots localisent les objets ? Les gestes pourraient être aussi importants que les mots. En intégrant les connaissances acquises auprès de leurs compagnons canins, les chercheurs permettent aux robots d’utiliser à la fois le langage et les gestes comme entrées pour les aider à aller chercher les bons objets. En combinant langage et gestes, une nouvelle approche de la planification robotique permet aux robots de mieux trouver précisément l’objet recherché par l’utilisateur.
Que ce soit dans la cuisine ou dans un atelier, les robots assistants capables d’aller chercher des objets pour les humains pourraient s’avérer extrêmement utiles. Une équipe de chercheurs de l’Université Brown a mis au point une méthode permettant aux robots de mieux identifier les objets qu’un utilisateur souhaite qu’ils récupèrent.
Cette nouvelle approche permet aux robots d’utiliser à la fois le langage et les gestes humains pour localiser et récupérer des objets cibles. Dans une étude qui sera présentée le mardi 17 mars lors de la Conférence internationale sur l’interaction homme-robot à Édimbourg, en Écosse, les chercheurs démontrent que cette approche a atteint un taux de réussite de 89 % pour la localisation de l’objet adéquat dans des environnements complexes, surpassant ainsi les autres méthodes de récupération d’objets.
« La recherche d’objets exige qu’un robot puisse se déplacer dans de vastes environnements », explique Ivy He, doctorante à Brown et auteure principale de l’étude. « Avec la technologie actuelle, les robots sont assez performants pour identifier les objets, mais lorsque l’environnement est encombré, que les objets bougent ou sont cachés par d’autres, la tâche se complique considérablement. Ce travail vise donc à utiliser à la fois le langage et la gestuelle pour faciliter cette recherche. »
Cette recherche utilise une approche de planification robotique appelée POMDP (processus de décision markovien partiellement observable), un cadre mathématique permettant à un robot de raisonner en situation d’incertitude. Dans la réalité, les robots ont rarement une compréhension parfaite de leur environnement. Différents types d’objets peuvent se ressembler. Il peut y avoir plusieurs exemplaires d’un même objet dans une pièce. Des objets peuvent être partiellement ou totalement cachés.
Pour réussir une recherche, un robot doit agir même lorsqu’il n’est pas certain de ce qu’il voit. Sans moyen de gérer cette incertitude, il risque de se bloquer. Pire encore, il pourrait prendre des décisions finales trop confiantes, basées sur des informations incomplètes.
Un processus de décision markovien probabiliste (POMDP: partially observable Markov decision process ou processus de décision markovien partiellement observable) transforme les ambiguïtés en un cadre probabiliste qui aide le robot à évaluer son niveau de confiance quant à la nature de son environnement et à actualiser ses convictions en fonction des nouvelles informations, notamment celles issues de modèles de vision et de langage complexes. Ce faisant, il peut choisir des actions favorisant son apprentissage – par exemple, se déplacer pour obtenir une meilleure vue – avant de prendre une décision finale.
L’innovation de cette recherche récente réside dans un modèle POMDP qui intègre à la fois des informations linguistiques et gestuelles, comme le fait de désigner l’objet d’intérêt. Pour intégrer la composante gestuelle, l’auteur s’est appuyé sur les travaux d’un laboratoire de l’université Brown, dirigé par Daphna Buchsbaum, professeure associée en sciences cognitives et psychologiques, concernant la manière dont les chiens, champions incontestés du jeu de la balle, interprètent le geste humain de désigner un objet.
S’appuyant sur cette expertise, He et Madeline Pelgrim, doctorante, ont mené une étude sur les subtilités du geste de pointage chez l’humain, ainsi que sur la manière dont les chiens interprètent ce geste. Cette étude a permis à He de modéliser la cible d’un geste de pointage dans un cône de probabilité.
« Nous avons constaté que les humains utilisent le regard pour s’aligner avec ce qu’ils désignent », explique-t-il. « Il était donc naturel de créer un cône basé sur une ligne reliant l’œil au coude puis au poignet. Ce cône s’avère être une approximation assez précise de la direction que désigne une personne. »
Buchsbaum ajoute : « Nos travaux au sein du Brown Dog Lab ont démontré la grande sophistication des chiens dans leur communication avec les humains, résolvant nombre de problèmes de coopération que nous souhaitons voir les robots résoudre. Cela en fait un modèle naturel de coopération intuitive entre humains et animaux. Ces travaux traduisent la compréhension intuitive du chien du regard et du geste humain en un modèle probabiliste, permettant ainsi au robot de gérer l’ambiguïté inhérente à la communication humaine. Ils nous rapprochent de véritables assistants robotiques intuitifs. »
Il a ensuite combiné le modèle gestuel avec un modèle de vision et de langage (VLM), un système d’IA conçu pour interpréter les scènes visuelles à partir de descriptions en langage naturel. Le résultat fut un POMDP capable d’intégrer à la fois le langage et les gestes pour la planification robotique.
Lors d’expériences en laboratoire, les chercheurs ont demandé à un robot quadrupède de localiser divers objets dispersés dans l’espace. Les résultats ont montré que le robot était capable de trouver le bon objet dans près de 90 % des cas en combinant gestes et langage, un résultat bien meilleur qu’avec l’un ou l’autre de ces moyens d’entrée pris isolément.
Pour He et ses coauteurs, cette recherche représente un pas de plus vers des robots capables de travailler aux côtés des humains, à la maison comme au travail.
« Le cadre que nous avons développé ouvre la voie à une interaction multimodale fluide entre humains et robots », explique Jason Liu, co-auteur de l’étude et chercheur postdoctoral au MIT, qui a travaillé sur ce projet pendant son doctorat à Brown. « À l’avenir, nous pourrons communiquer avec nos robots assistants comme le font les humains : par le langage, les gestes, le regard, les démonstrations, et bien plus encore. »
Ces travaux ont été soutenus par l’Institut de recherche en IA de Brown sur l’interaction pour les assistants IA (ARIA), financé par la National Science Foundation.
« C’est un excellent exemple de la façon dont nous pouvons favoriser une interaction homme-machine plus naturelle et efficace en renforçant la collaboration entre l’informatique et les sciences cognitives », a déclaré Ellie Pavlick, professeure agrégée d’informatique à Brown et directrice d’ARIA. « Intégrer nos connaissances sur la façon dont les humains communiquent naturellement et concevoir des systèmes qui respectent ces tendances et intuitions comportementales humaines est la voie à suivre. »
