Un modèle d'IA restaure d'anciennes vidéos de faible qualité en haute résolution à la demande
infohightech ·
Topaz Labs, qui crée de puissants logiciels d'amélioration de photos et de vidéos, vient de présenter un nouveau modèle d'IA qui améliore automatiquement les anciennes séquences, de votre collection de vidéos personnelles au contenu d'archives qui peut s'être dégradé au fil du temps sur les médias traditionnels.
Dans une série d'exemples, les images restaurées semblent avoir été considérablement améliorées, avec des détails accrus et un bruit et des artefacts réduits. Il s'agit du tout premier modèle de diffusion conçu à cet effet, et il ne nécessite aucune saisie manuelle pour corriger les vidéos qui lui sont transmises.
L'entreprise affirme que Project Starlight, comme s'appelle le modèle, a été construit à partir de zéro en utilisant une nouvelle architecture de modèle, avec plus de 6 milliards de paramètres et s'appuie sur le dernier matériel NVIDIA. Pour référence, l'impressionnant modèle de langage étendu GPT-4o d'OpenAI, sorti en mai 2024 avec la capacité d'accepter du texte, de l'audio, des images et des vidéos comme entrées, nécessitait 8 milliards de paramètres .
Projet Starlight : le premier et le seul modèle d'IA basé sur la diffusion pour améliorer la vidéo.
Topaz Labs promet que ce modèle « restaurera avec précision les détails » et offrira « une récupération des détails inégalée combinée à une cohérence temporelle sans précédent ». La société affirme que c'est précisément ce dernier point qui est au cœur de son nouveau modèle : améliorer plusieurs images pour obtenir des résultats de restauration de haute qualité sans artefacts de mouvement ni incohérences entre les images et les objets.
https://twitter.com/topazlabs/status/1887497606323900896?ref_src=twsrc%5Etfw
Restauration entièrement aveugle : notre modèle débruit, floute, met à l'échelle et anti-aliase automatiquement. Il vous suffit d'insérer vos images et de les regarder se transformer ! Pas de réglages manuels, pas de réglage des paramètres.
🎥 Notre modèle peut restaurer des images tournées avec des caméras professionnelles. Cet exemple 👇 a été filmé en utilisant… pic.twitter.com/tmLpZ0Jm0t
— Topaz Labs (@topazlabs) 6 février 2025
Les modèles de diffusion fonctionnent en observant une image de haute qualité, en y ajoutant progressivement plus de bruit et en apprenant comment elle se dégrade ; ils font également l'inverse, en commençant par une image bruyante et en prédisant à quoi elle ressemblait avant que tout ce bruit ne soit ajouté.
Project Starlight débruitera également, floutera, mettra à l'échelle et anti-aliasera automatiquement les séquences à la demande, ce qui suggère que vous n'aurez pas besoin d'être un professionnel de la vidéo pour l'utiliser.
L'entreprise est présente dans le secteur des logiciels d'imagerie depuis plus de deux décennies, avec des applications très appréciées pour l'édition et la mise à l'échelle de photos et de vidéos. En 2020, un YouTubeur a utilisé l'IA Gigapixel de Topaz Labs et d'autres outils pour faire revivre un court métrage muet classique du milieu des années 1890 et le présenter dans toute sa splendeur en 4K 60 ips .
Comment la vidéo est restaurée aujourd'hui
Redonner vie à une ancienne vidéo implique plusieurs processus, notamment la mise à l'échelle, la correction et l'étalonnage des couleurs, l'interpolation d'images, la réparation des dommages et la restauration audio. Il existe des outils basés sur l'IA pour vous aider dans chacune de ces tâches, mais les humains doivent actuellement tout superviser pour obtenir les meilleurs résultats.
Il convient de noter que Tensorpix , un concurrent de Topaz Labs, propose également un outil d'amélioration vidéo basé sur l'apprentissage automatique qui promet de corriger les séquences obsolètes. Mais la documentation de l'entreprise ne mentionne pas l'utilisation de modèles de diffusion, qui font partie d'une branche spécifique de l'apprentissage automatique.
Dans quelle mesure le projet Starlight fonctionne-t-il ?
Dans les exemples ci-dessus, vous pouvez voir que Project Starlight fait du bon travail dans l'ensemble. Le clip avec l'astronaute et l'autre avec un perroquet rouge se sont révélés particulièrement réussis. Cependant, la fidélité du clip du match de boxe laisse beaucoup à désirer ; certaines images ressemblent à des peintures tachées, similaires aux résultats décevants des anciens modèles de génération de vidéos IA.
https://twitter.com/topazlabs/status/1887497608031088681?ref_src=twsrc%5Etfw
💡Project Starlight ouvre de nouvelles possibilités pour vos flux de travail créatifs - en ressuscitant des moments historiques emblématiques dans des détails d'une clarté cristalline. Des anciennes vidéos personnelles aux projets professionnels, l'avenir de la restauration vidéo par IA est là !
Nous avons hâte de voir ce que vous allez créer avec… pic.twitter.com/VUitnPQ1I1
— Topaz Labs (@topazlabs) 6 février 2025
Topaz Labs indique que vous pourrez restaurer gratuitement des vidéos d'une durée maximale de 10 secondes, tandis que les clips d'une durée maximale de 5 minutes seront limités à 1080p et nécessiteront l'utilisation de crédits. Une version entreprise prendra en charge les vidéos plus longues et les sorties en résolution supérieure. On ne sait pas encore si Project Starlight peut fonctionner localement ou s'il sera intégré aux autres applications de l'entreprise.