Zuckerberg vante les mérites de la dernière IA de vision vidéo de Meta avec le PDG de Nvidia, Jensen Huang
infohightech ·
Meta a connu un succès palpable l'année dernière avec Segment Anything, un modèle d'apprentissage automatique capable d'identifier et de délimiter rapidement et de manière fiable à peu près n'importe quel élément d'une image. La suite, que le PDG Mark Zuckerberg a présentée lundi sur la scène du SIGGRAPH, transpose le modèle au domaine de la vidéo, en montrant à quelle vitesse le champ se déplace.
La segmentation est le terme technique qui désigne le fait pour un modèle de vision de regarder une image et d'en distinguer les parties : "C'est un chien, c'est un arbre derrière le chien", espérons-le, et non pas "c'est un arbre qui pousse à partir d'un chien". Ce processus existe depuis des décennies, mais il s'est récemment amélioré et accéléré, le Segment Anything constituant une avancée majeure.
Segment Anything 2 (SA2) est une suite naturelle car il s'applique nativement à la vidéo et pas seulement aux images fixes ; bien que vous puissiez, bien sûr, exécuter le premier modèle sur chaque image d'une vidéo individuellement, ce n'est pas le flux de travail le plus efficace.
"Les scientifiques utilisent ces outils pour étudier les récifs coralliens et les habitats naturels, par exemple. Mais pouvoir le faire en vidéo, avec un plan zéro, et lui dire ce que vous voulez, c'est vraiment cool", a déclaré Zuckerberg lors d'une conversation avec le PDG de Nvidia, Jensen Huang.
Le traitement de la vidéo est, bien entendu, beaucoup plus exigeant en termes de calcul, et le fait que SA2 puisse fonctionner sans faire fondre le centre de données témoigne des progrès réalisés par l'ensemble de l'industrie en matière d'efficacité. Bien sûr, il s'agit toujours d'un modèle énorme qui nécessite un matériel sérieux pour fonctionner, mais une segmentation rapide et flexible était pratiquement impossible il y a encore un an.
Crédits d'image : Meta
Le modèle sera, comme le premier, ouvert et libre d'utilisation, et il n'est pas question d'une version hébergée, ce que ces entreprises d'IA proposent parfois. Mais il existe une démo gratuite.
Naturellement, l'entraînement d'un tel modèle nécessite une tonne de données, et Meta met également à disposition une grande base de données annotée de 50 000 vidéos qu'elle a créée à cette fin. Dans l'article décrivant SA2, une autre base de données de plus de 100 000 vidéos "disponibles en interne" a également été utilisée pour l'entraînement, et celle-ci n'est pas rendue publique - j'ai demandé à Meta plus d'informations sur ce qu'elle est et pourquoi elle n'est pas publiée. (Nous pensons qu'elle provient de profils Instagram et Facebook publics).
Exemples de données d'entraînement étiquetées.
Crédits d'image : Meta
Meta est un leader dans le domaine de l'IA "ouverte" depuis quelques années maintenant, bien qu'en réalité (comme Zuckerberg l'a dit dans la conversation) il le fait depuis longtemps, avec des outils comme PyTorch. Mais plus récemment, LLaMa, Segment Anything et quelques autres modèles qu'elle diffuse librement sont devenus une barre relativement accessible pour les performances de l'IA dans ces domaines, bien que leur "ouverture" fasse l'objet d'un débat.
Zuckerberg a mentionné que l'ouverture n'est pas entièrement due à la bonté d'âme de Meta, mais cela ne signifie pas que leurs intentions sont impures :
"Il ne s'agit pas d'un simple logiciel que l'on peut construire, il faut un écosystème autour de lui. Cela ne fonctionnerait presque pas si nous ne l'avions pas mis en open source, n'est-ce pas ? Nous ne faisons pas cela par altruisme, même si je pense que cela va être utile à l'écosystème - nous le faisons parce que nous pensons que cela va permettre à la chose que nous construisons d'être la meilleure".