Une main robotisée qui a appris à jouer du piano par elle-même pourrait changer l'avenir des machines.

infohightech ·

(Image/Midjourney)

Des chercheurs de l'USC (Université de Californie du Sud) ont conçu une main robotisée capable de reproduire une mélodie après seulement deux minutes d'apprentissage autonome au clavier. Selon eux, les implications de cette technologie dépassent largement le cadre de la musique.

Dans un laboratoire de neurorobotique de l'école d'ingénierie Viterbi de l'USC, une petite main mécanique a entendu une mélodie et l'a reproduite.

Pas de semaines d'entraînement. Pas de bases de données massives. Juste deux minutes de gribouillages aléatoires sur les touches, comme le ferait n'importe quel enfant.

La main devint si douée qu'elle passa une « audition » devant deux juges musicaux qui écoutèrent sa prestation, à l'aveugle, aux côtés de celles de quatre pianistes humains. Les juges étaient parfois incapables de les distinguer.

Ce système, baptisé "Musician Hand" ou "Main du musicien", a été conçu par Hesam Azadjou, doctorant au sein du laboratoire Valerolab.org du département de génie biomédical Alfred E. Mann , sous la direction de Francisco Valero-Cuevas, professeur de génie biomédical, de biokinésiologie et de physiothérapie, de génie mécanique, de génie électrique et informatique, et d'informatique à l'USC  Ali Marjaninejad, qui a soutenu sa thèse de doctorat en génie biomédical sous la direction de Valero-Cuevas, a contribué à la conception de la méthodologie et à l'analyse formelle des résultats. 

La « Main du musicien » utilise quatre doigts actionnés par des tendons et contrôlés par de petits moteurs électriques conçus pour imiter la mécanique de la main humaine. Des réseaux neuronaux analysent le son d'une mélodie et le convertissent en commandes motrices nécessaires à sa reproduction. Crédit : USC Viterbi School of Engineering

L’auteur principal, Azadjou, et ses co-auteurs, Valero-Cuevas et Marjaninejad, détaillent leurs découvertes dans « Perception in Action: A Robotic System that Can Teach Itself to Melodiously Play Music by Ear », un article qui vient d’être publié par le Royal Society Interface Journal .

Depuis des décennies, le fonctionnement des robots exige une programmation exhaustive. Chaque action devait être planifiée à l'avance, chaque environnement soigneusement contrôlé. Cette recherche propose une approche différente : des machines qui apprennent d'expériences brèves et concrètes, à l'instar des animaux et des humains, puis qui accomplissent des tâches non programmées dans des environnements imprévisibles tels que les habitations, les hôpitaux et les chantiers.

Une telle approche pourrait un jour permettre de déployer des robots utiles beaucoup moins cher et plus rapidement, et ouvrir la voie à des machines qui apprennent et travaillent aux côtés des humains dans la vie quotidienne, et pas seulement dans les usines.

« Le talon d'Achille de la robotique traditionnelle réside dans l'hypothèse qu'une information parfaite est nécessaire pour bien agir », explique Valero-Cuevas. « Les animaux ne fonctionnent pas ainsi. Ils perçoivent, ils devinent (généralement avec justesse) et ils s'adaptent. Nous voulions démontrer qu'un robot pouvait en faire autant. »

Mélodie 2 de Perception en action : un système robotique capable d’apprendre par lui-même à jouer de la musique de manière mélodieuse à l’oreille. Crédit : Journal of the Royal Society Interface (2026). DOI : 10.1098/rsif.2025.0909

Des robots plus intelligents, moins de calculs

Valero-Cuevas et Azadjou ont fait exactement cela. La plupart des machines ne fonctionnent que dans des environnements strictement contrôlés, où les ingénieurs conçoivent et organisent chaque détail à l'avance. « Dans une usine, les vis sont dans ce bac et les écrous dans celui-ci », explique Valero-Cuevas. « Tout est agencé de manière à ce que le robot sache exactement où trouver les éléments. »

Dès qu'on sort de ce cadre contrôlé, les robots conventionnels rencontrent des difficultés. L'environnement change. Les humains sont imprévisibles. Pour interagir dans le monde réel, les robots, comme les voitures autonomes, compensent ces difficultés en nécessitant d'énormes quantités de données, l'équivalent d'années d'entraînement, et une puissance de calcul en ligne considérable.

« En robotique, on a tendance à demander plus de puissance de calcul, plus de données, plus de temps d'entraînement », a déclaré Valero-Cuevas. « Or, nous démontrons que les robots peuvent apprendre des comportements utiles avec très peu de données. »

Azadjou, qui a initialement suivi une formation d'ingénieur électricien, a déclaré que le projet l'avait incité à repenser ses hypothèses sur la manière de résoudre un problème et à approfondir ses connaissances en apprentissage automatique, en biologie et en neurosciences.

« Notre cerveau résout des problèmes incroyablement complexes en utilisant moins de 100 watts, soit l'équivalent d'une ampoule à incandescence ou d'un chargeur d'ordinateur », a-t-il déclaré. « Pour faire la même chose avec une IA classique, il faudrait des mégawatts. La nature nous offre une solution très différente, et économe en énergie. »

Comment le robot a appris à jouer à l'oreille

La main du musicien possède quatre doigts qui appuient sur les touches du piano. Chaque doigt est actionné par un tendon, un fin cordon relié à un petit moteur électrique, un peu comme les muscles actionnent les tendons de la main humaine.

Pour relever un défi musical à la hauteur, Valero-Cuevas en a parlé à son professeur de piano,  Richard Tuttobene, compositeur, pianiste et théoricien de la musique professionnel basé à Los Angeles.  Fort de son expérience, Tuttobene a composé « Robo Algo », une mélodie intéressante de quatre notes aux nuances dynamiques, qu'il a interprétée et enregistrée pour la présenter au Musician Hand.

Mais avant de jouer quoi que ce soit, le robot devait apprendre comment son propre « corps » fonctionnait pour produire des sons en appuyant sur des touches. L’algorithme ignore qu’il possède une main différente du clavier, ou ce qu’est la musique. Il perçoit simplement que ses actions produisent des sons.

Le processus d'entraînement a débuté par ce que les chercheurs appellent le « babillage moteur ». Pendant deux minutes, le robot a appuyé sur des touches de manière aléatoire, en variant la force et le rythme. Chaque frappe produisait un son ; le système a enregistré la correspondance entre les mouvements des doigts et les sons perçus.

À partir de cette brève expérience, le robot a construit une carte inverse reliant les qualités des sons aux qualités des commandes motrices nécessaires pour les reproduire.

Lorsqu'il a ensuite entendu une nouvelle mélodie d'une trentaine de notes, le système a converti le signal audio en un spectrogramme, une représentation visuelle de l'évolution des fréquences musicales au fil du temps. Des réseaux neuronaux ont analysé ce spectre pour identifier les notes et leur intensité. Le système a alors généré les commandes permettant d'appuyer successivement sur les touches appropriées afin de reproduire la perception sonore.

La Main du Musicien a reproduit la mélodie du premier coup, sans aucune correction nécessaire. 

Face à des participants humains novices, les résultats furent sans appel. Les adultes novices furent incapables de reproduire les douze premières notes. Pour les pianistes confirmés, en revanche, ce fut un jeu d'enfant. La Main Musicienne interpréta chaque mélodie avec une précision comparable à celle des pianistes professionnels, en reproduisant le rythme, l'intensité, les notes et la musicalité. D'une certaine manière, il s'agit d'une version musicale du test de Turing, proposé par Alan Turing en 1949, visant à évaluer la capacité d'une machine à adopter un comportement indiscernable de celui d'autres humains.

« Les bonnes solutions n'ont pas besoin d'être excessivement compliquées », a déclaré Azadjou. « Si vous repensez les hypothèses sous-jacentes à un problème, vous vous rendez compte que vous pouvez apprendre beaucoup plus efficacement, en utilisant ce que les psychologues appellent la "perception". »

Du piano à l'aide aux personnes à la marche

Le robot pianiste est une démonstration de faisabilité en robotique perceptive. Les chercheurs affirment que cette approche pourrait à terme aider les gens de manière beaucoup plus personnalisée et intuitive que les robots actuels, cantonnés à des tâches spécifiques.

Prenons l'exemple de la maladie de Parkinson. À mesure que la maladie progresse, la qualité des mouvements se dégrade progressivement.

« Imaginez que, dès le diagnostic, vous portiez un exosquelette, une combinaison robotisée portable, qui apprenne vos mouvements en quelques jours seulement », explique Valero-Cuevas. « Vous lui apprenez : voici comment je marche, comment j'atteins mes objets, comment je vis. À mesure que votre état progresse, vous pouvez le remettre, mais en mode assistance : il vous aide à retrouver votre propre style de mouvement. Il n'a pas besoin d'être programmé spécifiquement pour vous. Il a appris à vous connaître. »

Azadjou, dont les recherches portent sur l'ingénierie neuronale et les études computationnelles, entrevoit des applications potentielles en physiothérapie. Il imagine des robots qui apprennent les techniques du thérapeute et guident ensuite les patients dans des exercices personnalisés à domicile, en s'adaptant en temps réel aux mouvements et aux réactions de chacun.

Pour l'instant, la Main Musicienne n'est qu'un prototype. Mais les chercheurs affirment que les mêmes principes qui lui ont permis d'apprendre à jouer du piano pourraient, avec le temps et les investissements nécessaires, enseigner aux robots comment assister un patient victime d'un AVC, collaborer avec un ouvrier du bâtiment ou aider une personne âgée à rester chez elle, en exploitant ces aspects humains intangibles du comportement.

« Avec deux minutes d’entraînement et un simple ordinateur portable, ce système a appris à faire quelque chose d’intrinsèquement humain : l’expression artistique », a déclaré Valero-Cuevas. « Voilà un contre-exemple à la robotique traditionnelle qui mérite d’être pris au sérieux. »

Il résume l'objectif global en toute simplicité : « Le mot robot a été inventé par l'écrivain tchèque Karel Čapek et son frère Josef en 1920 pour décrire des travailleurs humanoïdes. Les robots étaient conçus pour nous aider. Ce vers quoi nous tendons, ce sont des robots capables de percevoir comment nous aider, pour répondre à nos besoins, chez nous, dans notre vie quotidienne, sans avoir besoin d'être préprogrammés dans les moindres détails. Comme un ami. »

https://viterbischool.usc.edu/news/2026/05/a-robot-hand-that-taught-itself-to-play-piano-could-change-the-future-of-machines/

https://dx.doi.org/10.1098/rsif.2025.0909

Cet article vous a été utile ? Partagez-le.