Lorsque nous avons découvert le Blob Opera de Google Arts and Culture, nous nous sommes dit : « Pourquoi s’arrêter à contrôler ces blobs chantants avec votre souris ? », explique Stuck Labs de Singapour.
Vers la fin de l’année 2020, l’artiste numérique David Li a collaboré avec le laboratoire Arts et Culture de Google pour sortir une expérience amusante d’apprentissage automatique appelée Blob Opera. Aujourd’hui, Stuck Labs a développé une interface sans contact qui permet aux jeunes chefs d’orchestre de contrôler l’action de l’opéra d’un simple geste du bras.
Stuck Labs est la branche innovation du studio de design Stuck de Singapour, et se compose d’ingénieurs en matériel et en logiciels, de fabricants, de scientifiques et de designers. En janvier dernier, l’équipe a créé un concept de bouton d’ascenseur qui suit le mouvement du doigt lorsqu’il s’approche et permet d’appuyer sur le bouton sans le toucher physiquement. C’est ainsi qu’est né Kinetic Touchless.
Kinetic Touchless | STUCK Labs | Redonner la touche humaine aux solutions sans contact
Puis, en mars, Stuck Labs s’est intéressé au type de portes coulissantes que l’on trouve dans les centres commerciaux, les hôtels et les salons d’aéroport. Plutôt que d’ouvrir la porte à l’approche d’une personne, laissant ainsi sortir la chaleur de l’intérieur tout en laissant entrer l’air froid, les concepteurs ont créé un capteur capable d’ouvrir la porte d’un simple geste de la main. Une fois le passage franchi, la porte se referme automatiquement.
Kinetic Touchless 2.0 – Récupérer le contrôle sans contact des portes automatiques
La troisième itération de la technologie de détection Kinetic Touchless, dont Stuck Labs ne dévoile pas les détails, s’inspire de l’expérience intelligente et très addictive Blob Opera créée par David Li et le laboratoire Arts et Culture de Google.
L’expérience du navigateur permet aux utilisateurs de contrôler des personnages colorés à l’écran, en les faisant glisser vers le haut ou vers le bas pour modifier la hauteur de l’opéra, ou vers l’avant ou l’arrière pour modifier la forme de la bouche du chanteur afin d’émettre différents sons vocaliques. Les performances peuvent être enregistrées pour être réécoutées.
L’interface de suivi des gestes qui se trouve devant ce jeune chef d’orchestre traduit les mouvements en commandes pour l’opéra Blob.
Mais plutôt que d’utiliser une souris d’ordinateur, Stuck Labs a décidé de rendre le contrôle de l’Opéra Blob plus réaliste et engageant en développant une interface sans contact capable de suivre les gestes des jeunes chefs d’orchestre sur le podium et de faire en sorte que les chanteurs pilotés par l’IA se produisent en faisant un signe de la main, en levant le bras, etc.
« Kinetic Touchless 3.0 reflète et agrandit les mouvements du corps d’une personne pour donner aux enfants le pouvoir de diriger physiquement des blobs d’opéra virtuels », explique Stuck Labs. « En corrélant les mouvements naturels de la direction d’orchestre aux commandes nécessaires pour faire fonctionner Blob Opera, Kinetic Touchless 3.0 vous donne la possibilité de diriger comme vous le feriez avec un orchestre réel. La pratique de la direction d’orchestre n’aura plus à se résumer à un simple entraînement des bras, et jouer avec Blob Opera ne sera plus une expérience bidimensionnelle. »
