La technologie du MIT recrée de vieux jouets en jouets interactifs et réalité mixte
infohightech ·
Une équipe de chercheurs du MIT, de l'Université des sciences et technologies de Hong Kong et de l'ETH Zurich a développé un outil époustouflant permettant non seulement de créer un jumeau numérique des objets physiques qui vous entourent, mais aussi de les faire fonctionner comme des objets réels en réalité mixte (RM). Qu'il s'agisse d'une poupée avec des membres mobiles ou d'un gadget permettant de lire des vidéos et de la musique, la technologie InteRecon permet de recréer tout cela virtuellement.
Les chercheurs proposent cette solution comme une meilleure façon de préserver les souvenirs de vos jouets et autres objets personnels bien-aimés, ainsi que pour aider à présenter les objets aux visiteurs du musée afin qu'ils puissent les examiner de plus près.
La technologie InteRecon de l'équipe - abréviation de Interactive Reconstruction - pour créer un élément numérique interactif (IDI) comprend quatre étapes : reconstruire son apparence 3D, ajouter des transformations physiques (des contrôles qui spécifient comment une partie distincte du modèle 3D peut fonctionner ou avec laquelle on peut interagir) pour le faire fonctionner comme la version réelle, reconstruire l'interface de l'objet avec des boutons, des molettes et des curseurs qui fonctionnent réellement en MR, et ajouter du contenu intégré comme des vidéos et de la musique qui faisaient partie de l'objet d'origine.
L'interface InteRecon MR vous permet d'ajouter des éléments interactifs à différentes parties de votre objet numérisé et de définir leur fonctionnement, comme les boutons et l'écran de ce téléviseur vintage.
L'application fonctionne avec une application iPhone qui vous permet d'abord de numériser l'objet et de le transformer en modèle 3D. Vous l'importerez ensuite dans l'interface InteRecon MR, accessible via un casque comme le Meta Quest. Ses commandes virtuelles vous permettront de segmenter l'objet 3D numérisé en différentes parties et de spécifier leur fonctionnement à l'aide d'outils de démonstration.
Par exemple, imaginons que vous possédiez un lapin en peluche lorsque vous étiez enfant. Vous pourriez le scanner, segmenter ses longues oreilles en parties distinctes avec des mouvements programmables, parcourir les différentes options de mouvement pour ces parties et trouver celle qui permet aux oreilles de se balancer librement lorsque vous interagissez avec le jouet. De même, vous pourriez segmenter ses pattes et leur permettre de bouger avec une certaine amplitude, comme le lapin lui-même.
Vous pouvez recréer toutes sortes de jouets et de gadgets avec InteRecon, y compris une table de mixage audio (en bas à gauche) et une GameBoy rudimentaire
Bon, c'est déjà très intéressant en soi, et bien au-delà de ce que permettent les technologies actuelles de numérisation 3D. Le plus remarquable est la façon dont InteRecon fonctionne avec les objets électroniques. Regardez la vidéo ci-dessous pour découvrir comment l'équipe redonne vie à un vieil iPod Shuffle en MR, avec des boutons fonctionnels et de la musique.
InteRecon : Vers la reconstruction de l'interactivité des éléments personnels mémorables en réalité mixte
Les chercheurs démontrent également comment reproduire un téléviseur jouet diffusant une sélection de dessins animés prédéfinis. L'outil permet de simuler le fonctionnement des boutons pour passer d'un clip à l'autre, d'indiquer la zone du jouet où l'écran serait placé et de télécharger les vidéos à afficher dans cette zone. C'est vraiment inventif, et la démonstration rend le processus de numérisation assez simple et intuitif.
Cette technologie pourrait aller au-delà de la numérisation des jouets : comme l’ont noté certains utilisateurs dans une étude connexe, elle pourrait permettre aux créateurs de mode d’expérimenter différents matériaux en IRM, et peut-être même aider à enseigner aux étudiants en médecine comment réaliser des interventions chirurgicales difficiles.
Cet outil pourrait également être utilisé pour ajouter de nouvelles fonctions aux jouets, comme cette statue de violoniste numérique qui peut jouer de la musique en réalité mixte
À cette fin, les chercheurs prévoient d'améliorer le moteur de simulation physique d'InteRecon afin d'optimiser le fonctionnement des IDI et d'étendre ses capacités à la recréation d'environnements physiques complets avec lesquels il est possible d'interagir. Ils prévoient également d'explorer l'utilisation de modèles d'IA génératifs pour recréer des objets personnels perdus par simple description à voix haute, et même d'imprimer les résultats en 3D.
L'équipe présentera ses travaux lors de la conférence ACM CHI de cette année à Yokohama, au Japon, qui débutera plus tard ce mois-ci.