La startup Runway, spécialisée dans l’IA générative, a lancé sa première application mobile, rendant son modèle de vidéo à vidéo Gen-1 disponible sur iOS. Il s’agit d’un transfert de style superpuissant.
La startup d’IA Runway a lancé sa première application mobile sur iOS, permettant aux utilisateurs d’utiliser le modèle d’IA générative de vidéo à vidéo de la société – Gen-1 – directement depuis leur téléphone. Vous pouvez télécharger l’application ici, les utilisateurs gratuits se voyant offrir un nombre limité de crédits.
Gen-1 permet de transformer une vidéo existante à partir d’un texte, d’une image ou d’une vidéo. Son fonctionnement ressemble beaucoup à celui d’un outil de transfert de style (bien que, contrairement au transfert de style, il génère des vidéos entièrement nouvelles en sortie plutôt que d’appliquer des filtres). Vous pouvez télécharger une vidéo d’une personne faisant du vélo dans un parc, par exemple, et lui appliquer une esthétique ou un thème. Vous pouvez donner à la vidéo l’aspect d’une aquarelle ou d’une esquisse au fusain, etc.
Bien entendu, comme il s’agit d’une IA générative, le résultat est souvent… étrange. Si vous ajoutez un effet de claymation, par exemple, les modèles obtenus ne fonctionneront pas comme de la vraie claymation. Les modèles se déforment entre chaque image, les membres grandissent et rétrécissent, les traits fondent et s’étalent. C’est tout à fait normal et cela n’enlève rien au plaisir.
Voici, par exemple, trois rendus différents d’un clip emblématique d’Al Pacino dans Heat (1995). Le plus remarquable est le clip en bas à droite, qui utilise une photo prise d’un chat comme intermédiaire. Sans avoir besoin de le préciser, le modèle a appliqué le visage du chat à celui de Pacino et a même donné un peu de fourrure à ses mains, tout en laissant son costume plus ou moins intact. Les deux autres clips de la rangée supérieure sont des filtres prédéfinis.
Voici un autre exemple : une vidéo de la cathédrale Saint-Paul de Londres avec le filtre « papier et encre ». Ce n’est pas un effet époustouflant, mais il a été incroyablement facile à réaliser. Et entre les mains d’une personne plus expérimentée et plus créative, il pourrait être spectaculaire.
Testée pendant quelques jours, l’application Runway rend certainement le processus de création de ce type de vidéo beaucoup plus fluide. (La suite logicielle principale de Runway est disponible sur le web, ce qui allonge la distance entre la capture des images et leur création). Il ne s’agit pas d’une expérience sans faille, bien sûr. Il y a les inefficacités habituelles et les erreurs inattendues que l’on s’attend à trouver dans la première version d’une application. Mais, comme l’a expliqué Cristóbal Valenzuela, PDG de Runway, l’important est de rendre ces outils mobiles.
« C’est pourquoi le téléphone est si utile, car vous enregistrez directement à partir de votre appareil, puis vous dites à Gen-1 comment transformer cette vidéo », a déclaré Cristóbal Valenzuela.
D’autres limitations méritent d’être mentionnées. Il n’est pas possible de travailler avec des séquences de plus de cinq secondes, et certains messages-guides sont interdits. Vous ne pouvez pas générer de nudité, par exemple, et il semble que les œuvres protégées par le droit d’auteur soient également interdites. La création de chaque vidéo prend environ deux à trois minutes, ce qui n’est pas énorme, mais qui paraît énorme à l’ère de l’édition mobile instantanée. Le traitement est effectué dans le Cloud et devrait s’accélérer avec le temps. L’application ne prend actuellement en charge que le modèle Gen-1 de Runway, mais Valenzuela affirme que le modèle Gen-2, purement génératif, sera bientôt ajouté.
Ce que ces notes ne reflètent pas entièrement, cependant, c’est l’énorme potentiel d’outils comme celui-ci. Les résultats des modèles de conversion texte-image de l’IA ont également commencé par être maculés et irréalistes. Aujourd’hui, ils sont utilisés pour tromper le public avec des photos du pape.
Cristóbal Valenzuela a comparé l’ère actuelle de l’IA générative à la phase des « jouets optiques » du XIXe siècle, lorsque les scientifiques et les inventeurs créaient toute une série d’appareils dont les capacités étaient triviales, mais qui étaient aussi les ancêtres des caméras modernes. L’application mobile de Runway ressemble à l’un de ces jouets. Je ne peux pas imaginer qu’elle soit utilisée pour un travail de production professionnel, mais je ne peux pas non plus imaginer l’impact que des outils comme celui-ci auront à l’avenir.
https://www.theverge.com/2023/4/24/23695788/generative-ai-video-runway-mobile-app-ios
