Le modèle Depth Pro d'Apple cartographie en 3D des images 2D en une fraction de seconde
infohightech ·
La division de recherche en apprentissage automatique d'Apple a développé un modèle d'IA fondamental « pour l'estimation de la profondeur monoculaire métrique à zéro coup ». Depth Pro permet de générer à grande vitesse des cartes de profondeur 3D détaillées à partir d'une seule image bidimensionnelle.
Notre cerveau traite les informations visuelles provenant de deux sources d’images : nos yeux. Chacune d’elles a une vision légèrement différente du monde, et ces deux éléments sont combinés en une seule image stéréo, les différences nous aidant également à évaluer la proximité ou la distance des objets.
De nombreux appareils photo et smartphones observent la vie à travers un seul objectif, mais des cartes de profondeur tridimensionnelles peuvent être créées à l’aide d’informations cachées dans les métadonnées de photos 2D (telles que les distances focales et les informations sur le capteur) ou estimées à l’aide de plusieurs images.
Le système Depth Pro ne s'embarrasse pas de tout cela, mais est capable de générer une carte de profondeur 3D détaillée à 2,25 mégapixels à partir d'une seule image en 0,3 seconde via une unité de traitement graphique standard.
L'architecture du modèle d'IA comprend un transformateur de vision multi-échelles qui permet de traiter simultanément le contexte global d'une image ainsi que tous les détails les plus fins comme « les cheveux, la fourrure et d'autres structures fines ». Il est également capable d'estimer la profondeur relative et absolue, ce qui signifie que le modèle peut fournir des mesures du monde réel pour permettre, par exemple, aux applications de réalité augmentée de positionner précisément des objets virtuels dans un espace physique.
L'IA est capable de faire tout cela sans avoir besoin d'une formation intensive en ressources sur des ensembles de données très spécifiques, en utilisant ce que l'on appelle l'apprentissage zéro-shot - qu'IBM décrit comme « un scénario d'apprentissage automatique dans lequel un modèle d'IA peut reconnaître et catégoriser des classes invisibles sans exemples étiquetés ». Cela en fait une bête assez polyvalente.
En ce qui concerne les applications, au-delà du scénario AR mentionné ci-dessus, Depth Pro pourrait permettre une édition de photos beaucoup plus efficace ou même conduire à une imagerie 3D en temps réel à l'aide d'un appareil photo à objectif unique, et s'avérer utile pour aider les machines comme les véhicules autonomes et les robots à mieux percevoir le monde qui les entoure en temps réel.
Le projet est encore au stade de la recherche, mais peut-être inhabituellement pour Apple, le code et la documentation de support sont mis à disposition en open source sur GitHub , permettant aux développeurs, aux scientifiques et aux codeurs de faire passer la technologie au niveau supérieur.
Un article sur le projet a été publié sur le serveur Arxiv , et une démo en direct est disponible pour tous ceux qui souhaitent découvrir la version actuelle par eux-mêmes.