Bientôt au cinéma : un film de Bollywood généré par l'IA
infohightech ·
Les cinéastes ont utilisé des générateurs d'images IA pour créer des personnages, puis ont introduit ces personnages dans des générateurs vidéo.
Vous avez sans doute déjà vu des vidéos courtes produites à l'aide d'outils de génération de vidéos IA, qui permettent de créer des clips photoréalistes de plusieurs secondes à partir d'une simple invite de texte. Une start-up indienne pousse aujourd'hui la technologie à ses limites : elle prévoit de sortir, d'ici fin 2025, un long métrage créé presque entièrement avec des outils d'IA générative .
Intelliflicks Studios , basé à Chandigarh, est le fruit d'une idée de l'auteur Khushwant Singh et de Gurdeep Pall , président de la stratégie IA chez Qualtrics, à Seattle, et ancien vice-président des incubations IA chez Microsoft . Le studio crée une adaptation cinématographique du roman Maharaja in Denims de Singh, paru en 2014 , qui raconte l'histoire d'un jeune homme du présent qui croit être la réincarnation du Maharaja Ranjit Singh , le fondateur de l'empire sikh du XIXe siècle.
Singh explique que les patrons des studios de Bollywood ont acheté à deux reprises les droits d'adaptation cinématographique du livre, mais que la complexité et le coût de la narration d'une histoire s'étendant sur plusieurs périodes ont fait que le film n'a jamais été réalisé. Ainsi, lorsque Pall, un ami d'enfance de Singh, lui a parlé des capacités de plus en plus avancées des générateurs vidéo IA, les deux hommes ont décidé d'unir leurs forces et de créer ce qu'ils disent être le premier long métrage génératif IA . « Nous essayons de faire une avancée décisive pour montrer les capacités de la technologie », explique Singh.
Quels outils d’IA générative utilisent-ils ?
Selon Pall, l'entreprise utilise une suite d'outils d'IA commerciaux et open source pour réaliser le film et développe son propre logiciel pour gérer les flux de travail du nouveau film. Elle utilise des modèles de génération d'images pour produire des designs de personnages, des scènes et des objets qui sont ensuite intégrés dans des modèles de génération vidéo. D'autres outils d'IA sont utilisés pour créer du son, des dialogues en synchronisation labiale et pour affiner les images. Pall explique que son équipe utilise également des outils de production vidéo conventionnels pour des tâches plus simples comme l'harmonisation de l'éclairage et des couleurs entre les scènes.
Les développeurs utilisent principalement des modèles pré-entraînés, et Pall affirme qu'ils ont également peaufiné certains modèles sur des données spécifiques à l'Inde . Mais dans certains cas, le peaufinage ne suffit pas. Une scène montre une femme exécutant une danse traditionnelle du nord de l'Inde, appelée danse Kathak, et Pall explique qu'il serait impossible de rassembler suffisamment de données pour former un modèle. Au lieu de cela, ils prévoient d'enregistrer une véritable performance Kathak et d'utiliser l'IA pour remplacer un personnage généré par l'IA.
Intelliflicks Studios a publié cette bande-annonce du long métrage généré par l'IA qu'ils prévoient de sortir cette année. Intelliflicks Studios
Selon Pall, le plus grand défi auquel l'équipe a été confrontée est la cohérence. L'IA générative est intrinsèquement probabiliste, de sorte que la réponse d'un modèle à une invite particulière sera différente à chaque fois. Cela peut compliquer les choses lorsqu'un personnage doit avoir la même apparence tout au long d'un long métrage.
Ce défi est devenu beaucoup plus facile à gérer l’année dernière, car de nombreux modèles peuvent désormais ajouter une balise numérique à chaque sortie. Cette balise peut être ajoutée aux invites futures pour garantir que le modèle suive un style similaire lorsqu’il génère un nouveau clip. Les recréations ne sont cependant jamais parfaites, explique Pall, ajoutant que son équipe s’adapte aux contraintes de la technologie. « Il faut considérer cela comme un nouveau support », explique-t-il. « On ne peut pas peindre la même chose avec des aquarelles qu’avec de l’huile. »
Que pensent les experts extérieurs ?
Jamie Umpherson , responsable de la création chez Runway , une start-up new-yorkaise spécialisée dans les vidéos IA, affirme que les projets de vidéos IA les plus réussis sont ceux qui comprennent les limites de la technologie et s'appuient sur elles pour améliorer la narration. Pourtant, la technologie s'améliore constamment, ajoute-t-il, de sorte que certaines de ces limites pourraient être de courte durée.
Pourtant, créer un long métrage avec la technologie actuelle est un peu exagéré. Umpherson explique que la plupart des clients de Runway, parmi lesquels des studios de cinéma, des agences de publicité et des artistes indépendants, utilisent cette technologie pour mettre rapidement en œuvre des idées au début du processus créatif ou pour générer des effets visuels qui complètent l'action en direct. « Créer un film entièrement généré par ordinateur est tout à fait possible », déclare-t-il, mais cela nécessitera « une incroyable dose de talent artistique ».

De nombreux générateurs de vidéos actuels fournissent désormais une balise avec chaque clip généré, qui peut être ajoutée à l'invite suivante pour améliorer la continuité. Intelliflicks Studios
Selon Abe Davis , professeur adjoint d’informatique à l’université Cornell, le défi réside en partie dans le fait que ces outils sont conçus pour générer des vidéos haute fidélité avec un minimum d’intervention de l’utilisateur : ils prennent en charge des détails qui nécessiteraient normalement une prise de décision humaine. Cette automatisation permet à un profane de générer rapidement un clip, mais elle peut frustrer quelqu’un qui possède une expertise et une vision. « Les gens sous-estiment le nombre de décisions pertinentes ou importantes qu’un cinéaste souhaite réellement prendre », explique Davis.

Le film généré par l'IA se déroule à la fois dans le monde moderne et au XIXe siècle. Intelliflicks Studios
Prenons par exemple la décision concernant la manière dont un acteur doit prononcer une réplique. Cette consigne peut être difficile à articuler dans un texte. Et pourtant, ajoute Davis, tous ces détails doivent rester cohérents tout au long de la vidéo, ce qui devient de plus en plus difficile à mesure que la vidéo s'allonge.
Singh admet que le premier long métrage généré par l’IA sera probablement très différent de ceux produits de manière conventionnelle. Mais il espère que cette technologie fera tomber les barrières structurelles qui empêchent les gens d’exprimer leur créativité. L’IA change la donne, affirme Singh : « Je pense que cela démocratisera considérablement la réalisation cinématographique. »