Skip to main content

19 Juin, 2018

Le système de Nvidia basé sur l’IA transforme n’importe quelle vidéo en un super ralenti ultra fluide

Le système de Nvidia basé sur l’IA transforme n’importe quelle vidéo en un super ralenti ultra fluide

Des chercheurs de Nvidia ont révélé un nouveau système impressionnant qui utilise un réseau de neurones à apprentissage profond pour créer efficacement des vidéos ralenties de haute qualité à partir de séquences filmées à une fréquence d’images basse et régulière.

Les chercheurs affirment que même si les méthodes existantes pour générer artificiellement des images au ralenti à partir de vidéos préexistantes sont assez efficaces, elles sont limitées par le nombre d’images intermédiaires qu’il faut générer. Ainsi, par exemple, transformer une vidéo de 30 ips en une vidéo à 60 ips à demi-vitesse nécessite simplement qu’une image supplémentaire soit générée entre chaque image enregistrée.

Mais si l’on veut générer une vidéo de 240 ips à partir de séquences de 30 ips, cela nécessite sept nouvelles images entre deux images consécutives, et c’est là que les techniques existantes commencent à se débattre.

Le réseau de neurones a été formé sur des milliers de vidéos au ralenti

Pour surmonter ce problème, les chercheurs ont développé un réseau de neurones convolutif formé sur plus de 11000 vidéos variées qui ont été tournées à 240 ips. Cela a permis au système d’apprendre avec précision le flux optique entre deux images données quelconques, puis de prédire efficacement quelles images intermédiaires doivent être générées pour créer un flux entre les deux.

« Notre méthode peut générer plusieurs images intermédiaires cohérentes spatialement et temporellement », rapportent les chercheurs. « Notre approche multi-cadre surpasse systématiquement les méthodes mono-trame les plus modernes. »

La vidéo de démonstration, vue ci-dessous, est indéniablement impressionnante, avec plusieurs vidéos d’entrée, allant de 30 à 60 images par seconde, ralenties jusqu’à des super ralenti jusqu’à 480 images par seconde. La vidéo démontre également la polyvalence du système en prenant des images déjà enregistrées en ralenti à haute fréquence et en ralentissant encore plus.

Alors que les nouveaux smartphones, tels que le Samsung Galaxy S9, ont la capacité de filmer de courtes vidéos au ralenti à des fréquences élevées, les chercheurs suggèrent que ce n’est pas une approche très pratique pour les petits appareils mobiles.

« Bien qu’il soit possible de prendre des vidéos à 240 images par seconde avec un téléphone portable, tout enregistrer à des fréquences d’images élevées est peu pratique, car il nécessite de grandes mémoires et consomme beaucoup d’énergie pour les appareils mobiles ».

Le système peut effectivement transformer une vidéo de 30 ou 60 ips en la fréquence d’images dont vous avez besoin

Ce nouveau système offre de nouvelles possibilités passionnantes à tous, des cinéastes professionnels aux instagrammeurs professionnels. A ce stade, la technologie est encore dans sa phase de prototype et les chercheurs notent qu’elle nécessite actuellement trop de calcul intensif pour se glisser facilement dans un smartphone.

« La puissance de traitement nécessaire pour cela est plus qu’un simple téléphone », explique Jan Kautz, l’un des chercheurs de Nvidia, « mais vous pouvez imaginer télécharger une vidéo sur un serveur – il existe des moyens de le faire fonctionner et de le donner aux utilisateurs. « 

https://arxiv.org/abs/1712.00080

http://cvpr2018.thecvf.com/

https://news.developer.nvidia.com/transforming-standard-video-into-slow-motion-with-ai/