Jon Schmidt de The Piano Guys a été numérisé pour créer un avatar 3D réaliste qui peut être installé sur un piano de salon via une application mobile
La réalité augmentée nous permet de placer des meubles dans une pièce avant d’acheter, de donner vie à des photos et d’aller jouer dans la rue. Maintenant, vous pouvez aussi demander à un avatar de jouer une version enjouée d’un classique de Beethoven dans votre salon.
Les Piano Guys (1), sensationnels musiciens en ligne, se sont associés avec Massive Technologies, le développeur d’AR/VR, pour faire asseoir Jon Schmidt du groupe au piano chez vous, si vous en avez un, et à un piano virtuel si vous n’en avez pas.
Massive Technologies a créé un avatar réaliste de Jon Schmidt pour jouer « avec une précision visuelle et musicale totale ». Les utilisateurs de smartphones ou de tablettes ont juste besoin de lancer l’application iOS/Android AR Pianist, de pointer la caméra arrière de l’appareil vers n’importe quel piano et l’application mettra Jon Schmidt au clavier.
L’application utilise l’apprentissage machine (machine learning) pour placer le virtuose virtuel au piano avec une précision d’un centimètre, et le support de l’appareil peut se déplacer dans l’espace avec six degrés de liberté pour voir son jeu sous n’importe quel angle. Si vous voulez vous rapprocher de l’action, vous pouvez faire un zoom avant, et si vous voulez utiliser l’expérience pour apprendre d’un maître, la lecture peut être ralentie jusqu’à 100 fois.
Les partitions qui mettent en évidence les notes au fur et à mesure qu’elles sont jouées défilent également dans l’application pour faciliter l’apprentissage. Une vue qui s’allume et des codes de couleur sur les touches à l’écran permettent aux élèves de « jammer avec Jon » sur leur propre piano. L’application peut utiliser le microphone de l’appareil mobile pour détecter les écarts de hauteur et fournir un retour d’information en temps réel.
Bien entendu, les touches du vrai piano ne bougeront pas et l’instrument restera silencieux, mais à l’écran, la zone de jeu s’anime et les haut-parleurs de l’appareil mobile sonnent avec les notes du concert personnel à domicile. Cela dit, si vous disposez d’un piano acoustique ou numérique équipé du MIDI, l’application peut déclencher sans fil le son des notes sur votre piano à domicile. Astucieux. Et si vous n’avez pas de piano à la maison, l’application génère un piano de concert juste devant vous… enfin, sur l’écran de l’appareil en tout cas.
« N’importe quel instrument à clavier de 88 touches, acoustique ou numérique, fonctionnera, mais ce n’est pas un obstacle si l’on n’a pas de piano du tout », explique Craig Knudsen, directeur de la production vidéo et « technicien » officiel de The Piano Guys. « Dans ce cas, AR Pianist reconnaîtra un espace au sol ou un plateau de table dégagé et fournira un modèle 3D détaillé du piano à queue de concert Yamaha C7 Neo qui figure sur de nombreux enregistrements et pochettes de disques de The Piano Guys ».
S’il n’y a pas de vrai piano à la maison, l’application peut placer Jon Schmidt dans un piano à queue de concert virtuel Yamaha C7 Neo
Le morceau choisi par The Piano Guys pour leur première sortie sur le AR Pianist est extrait de leur dernier album – intitulé 10 – et est une interprétation vivante de Für Elise de Beethoven (La Lettre à Elise), juste à temps pour le 250e anniversaire du compositeur classique le mois prochain. L’application comprend également une bibliothèque croissante de morceaux interprétés par des joueurs de classe mondiale, mais seul le Für Elise Jam comporte un avatar 3D de Jon Schmidt capturé en mouvement. Les autres présentent un avatar d’un joueur générique.
L’application serait compatible avec la plupart des smartphones et tablettes commercialisés ces dernières années, mais les appareils dotés de la technologie LiDAR, comme l’iPhone 12, ou de capteurs ToF, comme le Samsung Galaxy S20, auront une expérience améliorée – car toute personne entrant dans le champ de vision peut en fait être placée dans la pièce avec Schmidt, ou même s’asseoir sur le banc de piano à côté de lui.
L’application AR Pianist est gratuite à télécharger, mais l’accès illimité à toutes les chansons et aux fonctions premium est disponible pour un abonnement hebdomadaire de 2,99 dollars, ou 59,99 dollars par an. L’application prévoit une version AR/VR complète qui fonctionnera avec des casques d’écoute comme l’Oculus Quest.
- The Piano Guys est un groupe formé de quatre artistes américains vivant dans l’Utah, et qui s’est fait connaître sur YouTube. Son premier album est mis en vente en décembre 2011, le second l’est en fin d’année 2012
