Supprimer un objet et ses interactions peut nécessiter la réécriture de la scène entière. À gauche, lorsque les trois blocs centraux sont supprimés, VOID modélise correctement l’effet domino qui s’interrompt, empêchant ainsi le bloc jaune de tomber. À droite, lorsque les mains sont supprimées, VOID modélise correctement la rotation des toupies qui se poursuit sans interruption. Crédit : arXiv (2026). DOI : 10.48550/arxiv.2604.02296
En postproduction, les réalisateurs de films et de séries télévisées disposent d’une panoplie d’outils pour peaufiner leurs images et perfectionner une scène si le tournage ne leur convient pas. Ils peuvent notamment supprimer des éléments superflus comme du matériel ou des figurants indésirables. Cependant, cette technologie a ses limites lorsqu’il s’agit de retranscrire des interactions physiques plus complexes.
Par exemple, si vous souhaitez supprimer un objet qui heurtait ou soutenait un autre objet, les outils traditionnels laissent souvent les objets restants se comporter d’une manière qui défie les lois de la physique, comme un personnage qui flotte dans les airs si la chaise sur laquelle il était assis est supprimée.
Une approche consciente de la physique
Des chercheurs de Netflix et leurs collaborateurs ont développé VOID (suppression d’objets et d’interactions vidéo), un nouveau cadre d’IA qui ne se contente pas de supprimer des éléments d’une scène, mais modifie également les conséquences physiques de leur absence. Ainsi, dans l’exemple ci-dessus, il pourrait modéliser la chute naturelle du personnage au sol une fois la chaise disparue.
Les détails de cette innovation sont publiés dans un article disponible sur le serveur de prépublications arXiv .
Crédit : VOID
Pour que la suppression d’un objet paraisse réaliste plutôt que physiquement impossible, VOID se comporte comme un système d’édition prenant en compte la physique.
Le processus se déroule en trois étapes pour analyser une scène. Premièrement, il identifie les zones susceptibles d’être affectées par une modification, puis crée une carte spécifique appelée quadmask, indiquant où les ombres doivent disparaître et où les objets peuvent se déplacer différemment. Ensuite, il génère une nouvelle version de la vidéo prenant en compte tous ces changements. Enfin, il effectue un second traitement de la scène pour affiner les mouvements et s’assurer que les objets ne se déforment pas et conservent leur forme lors de leurs déplacements.
Apprendre la relation de cause à effet
Le système a été entraîné sur des milliers de paires de séquences numériques afin de mieux comprendre les relations de cause à effet. En observant ces actions simulées, il a appris comment les objets réagissent généralement lorsque des supports, des collisions ou des obstacles disparaissent.
Pour illustrer comment VOID pourrait gérer une réaction en chaîne, l’équipe décrit une séquence de dominos qui tombent, où les pièces centrales sont retirées. L’IA doit « comprendre » que, sans ces pièces pour transmettre l’énergie, le reste de la ligne doit rester debout. Comme ils l’ont noté dans leur article, « VOID modélise correctement l’effet domino qui s’arrête, de sorte que le bloc jaune ne tombe jamais ».
Ceci est possible car l’IA fait bien plus que simplement copier des pixels : « VOID ne se contente pas de mémoriser de simples indices visuels issus de ses données d’entraînement, mais applique un raisonnement de haut niveau et une connaissance du monde… »
Les chercheurs espèrent désormais étendre les capacités de VOID afin de gérer des scénarios plus complexes.
https://techxplore.com/news/2026-04-ai-video-tool-laws-physics.html
