Le robot voit et le robot fait: le système de Nvidia permet aux robots d’apprendre en regardant les humains
Le robot voit et le robot fait: le système de Nvidia permet aux robots d’apprendre en regardant les humains
Si les robots en arrivent à gagner leur vie, ils devront apprendre sur le tas. Les superviseurs d’usine ont de meilleures choses à faire que de programmer des instructions complexes, et s’ils pouvaient simplement montrer aux robots quoi faire, de la même manière qu’ils le feraient avec un nouveau employé humain ? Les chercheurs en IA de Nvidia ont maintenant démontré un système qui permet aux robots de faire exactement cela, en apprenant comment effectuer une tâche spécifique en regardant quelqu’un le faire une seule fois.
Si la recherche passée est quelque chose à faire, les robots pourraient un jour apprendre par des instructions verbales, et littéralement lire dans nos pensées pour se corriger quand ils font une erreur. Après cela, nous pourrions avoir des robots qui s’enseignent mutuellement ces compétences, partageant même leurs connaissances à travers le Cloud.
«Pour que les robots effectuent des tâches utiles dans des environnements réels, il doit être facile de communiquer la tâche au robot, ce qui inclut à la fois le résultat souhaité et les meilleurs moyens d’obtenir ce résultat», expliquent les chercheurs de Nvidia. « Suite à des démonstrations, un utilisateur peut communiquer une tâche au robot et fournir des indices sur la meilleure façon d’effectuer la tâche. »
Pour de nouvelles expériences, les chercheurs ont formé une série de réseaux neuronaux pour travailler ensemble afin d’accomplir une tâche démontrée pour eux par un humain. Ces réseaux neuronaux fonctionnent sur les GPU Titan X de Nvidia, et sont reliés à une caméra qui surveille les actions de l’humain, et une pince de robot qui les imite.
Les chercheurs ont formé le système pour reconnaître un ensemble de quatre blocs colorés et une voiture jouet. L’instructeur humain les arrangeait d’une manière spécifique, puis les dispersait. Ensuite, c’était le travail du robot de réassembler la scène telle qu’elle était montrée.
Pour ce faire, chacun des réseaux neuronaux a son propre travail. Tout d’abord, un réseau de détection d’objets détermine ce que la caméra regarde. Ensuite, un réseau d’inférence de relation détermine comment ces pièces s’emboîtent – le bloc bleu est par exemple sur le bloc rouge. Ensuite, un réseau de génération de programme détermine ce qui doit être fait pour atteindre l’objectif, et finalement le plan est passé à un réseau d’exécution qui guide la pince pour le retirer.
Un diagramme montrant comment les différents réseaux de neurones travaillant ensemble pour atteindre l’objectif
Le robot détecte automatiquement ses propres erreurs. Si cela arrive lors de n’importe quelle étape du processus, il se rend compte qu’il n’a pas encore atteint l’objectif et essaie à nouveau. Mais avant de faire quoi que ce soit, le robot produit également une description de son plan conçu pour être lisible par les humains, de sorte que ses superviseurs peuvent vérifier qu’il n’a pas mal interprété la tâche, et la reprendre si nécessaire.
Les chercheurs disent que la nouvelle technique d’apprentissage devrait vraiment aider à accélérer le processus d’enseignement des robots, car il n’a pas besoin d’être formé sur une énorme quantité de données étiquetées.
Le document de recherche a été publié en ligne, et l’équipe le présentera à la Conférence internationale sur la robotique et l’automatisation (ICRA) à Brisbane, en Australie cette semaine.
https://news.developer.nvidia.com/new-ai-technique-helps-robots-work-alongside-humans/