Si vous réutilisez le contenu vidéo – ou avez voulu le faire – vous savez que le contenu vidéo plus ancien et à faible résolution ne se réutilise pas bien. Cela est particulièrement vrai si vous devez changer le format d’image du paysage (16 × 9; TV normale) au portrait (9 × 16; Stories, TikTok, Reels, etc.).

Hier, NVIDIA a publié une nouvelle technologie de mise à l’échelle de l’IA baptisée RTX Video Super Resolution  qui peut améliorer la qualité des anciennes vidéos Web à l’aide d’ordinateurs de jeu grand public dotés d’une carte RTX 30 ou 40. Il fonctionne dans Chrome ou Edge et peut affiner les contours, réduire les problèmes vidéo et augmenter la résolution jusqu’à 4K.

(La mise à l’échelle de l’IA existe depuis un certain temps, mais elle fonctionne généralement sur des systèmes relativement coûteux et spécialement conçus ou sur des PC très haut de gamme.)

Pixel Perfect : La super résolution vidéo RTX est désormais disponible pour les GPU GeForce RTX séries 40 et 30

La fonction d’upscaling alimentée par l’IA améliore le contenu vidéo en streaming dans les navigateurs Google Chrome et Microsoft Edge.

Le streaming vidéo sur les PC via les navigateurs Google Chrome et Microsoft Edge bénéficie aujourd’hui d’une mise à niveau de la taille d’un GeForce RTX avec le lancement de RTX Video Super Resolution (VSR).

Près de 80 % de la bande passante d’Internet est aujourd’hui constituée de vidéos en streaming. Et 90 % de ce contenu est diffusé en 1080p ou moins, notamment à partir de sources populaires comme Twitch.tv, YouTube, Netflix, Disney+ et Hulu.

Cependant, lorsque les spectateurs utilisent des écrans supérieurs à 1080p – ce qui est le cas de nombreux utilisateurs de PC – le navigateur doit mettre la vidéo à l’échelle pour qu’elle corresponde à la résolution de l’écran. La plupart des navigateurs utilisent des techniques basiques de mise à l’échelle, ce qui donne des images finales molles ou floues.

Avec RTX VSR, les utilisateurs de GPU GeForce RTX 40 et 30 Series peuvent exploiter l’IA pour mettre à l’échelle des contenus de basse résolution jusqu’à 4K, en fonction de la résolution de leur écran. L’IA supprime les artefacts de compression et améliore la netteté et la clarté de la vidéo.

Tout comme le fait d’enfiler une paire de lunettes de vue permet de mettre instantanément le monde au point, RTX Video Super Resolution offre aux utilisateurs de PC GeForce RTX 40 et 30 une image claire du monde du streaming vidéo.

RTX VSR est disponible dès maintenant dans le cadre du dernier pilote GeForce Game Ready Driver, qui offre la meilleure expérience pour le lancement de nouveaux jeux comme Atomic Heart et la bêta fermée de THE FINALS.

L’évolution de la mise à l’échelle de l’IA

L’upscaling de l’IA consiste à convertir des médias à faible résolution en une résolution plus élevée en soumettant des images à faible résolution à un modèle d’apprentissage profond afin de prédire les versions à haute résolution. Pour faire ces prédictions avec une grande précision, un modèle de réseau neuronal doit être entraîné sur d’innombrables images à différentes résolutions.

Les écrans 4K peuvent brouiller les images car ils doivent étirer les images à basse résolution pour les adapter à leur écran. L’utilisation de l’IA pour mettre à l’échelle les vidéos diffusées en continu permet d’adapter les images de résolution inférieure avec une netteté inégalée.

Le modèle d’IA déployé peut alors prendre des vidéos en basse résolution et produire une netteté incroyable et des détails améliorés qu’aucun scaler traditionnel ne peut recréer. Les bords semblent plus nets, les cheveux ont l’air plus ébouriffés et les paysages ressortent avec une clarté saisissante.

En 2019, une première version de cette technologie a été lancée avec SHIELD TV. Il s’agissait d’une percée qui améliorait le contenu diffusé en continu ciblé pour les téléviseurs, allant pour la plupart de 480p à 1080p, et optimisé pour une expérience de visualisation à 3 mètres.

Les utilisateurs de PC sont généralement assis beaucoup plus près de leur écran que les téléspectateurs, ce qui nécessite un niveau de traitement et de raffinement plus élevé pour l’upscaling. Avec les GPU GeForce RTX séries 40 et 30, les utilisateurs disposent désormais de processeurs d’IA extrêmement puissants avec les Tensor Cores, permettant une nouvelle génération d’upscaling d’IA grâce à RTX VSR.

Comment fonctionne la super résolution vidéo RTX

RTX VSR est une percée dans le traitement des pixels d’IA qui améliore considérablement la qualité du contenu vidéo diffusé en continu, au-delà de la détection des bords et de l’accentuation des caractéristiques.

Les artefacts de compression en bloc sont un problème persistant dans la vidéo en continu. Que ce soit la faute du serveur, du client ou du contenu lui-même, les problèmes sont souvent amplifiés par la mise à l’échelle traditionnelle, ce qui rend l’expérience visuelle moins agréable pour les personnes qui regardent du contenu en continu.

Cliquez sur l’image pour voir les différences entre la mise à l’échelle bicubique (à gauche) et la super résolution vidéo RTX.

RTX VSR réduit ou élimine les artefacts causés par la compression vidéo – tels que les blocages, les artefacts en anneau autour des bords, le délavage des détails à haute fréquence et les bandes sur les zones plates – tout en réduisant les textures perdues. Elle rend également les bords et les détails plus nets.

La technologie utilise un réseau d’apprentissage profond qui effectue la mise à l’échelle et la réduction des artefacts de compression en un seul passage. Le réseau analyse l’image vidéo à basse résolution et prédit l’image résiduelle à la résolution cible. Cette image résiduelle est ensuite superposée à une image traditionnelle mise à l’échelle, ce qui permet de corriger les erreurs d’artefact et de rendre les bords plus nets pour correspondre à la résolution de sortie.

Le réseau d’apprentissage profond est entraîné sur un large éventail de contenus avec différents niveaux de compression. Il apprend à connaître les types d’artefacts de compression présents dans les vidéos de basse résolution ou de basse qualité, qui sont par ailleurs absents des images non compressées, et ce, en tant que référence pour l’entraînement du réseau. Une évaluation visuelle approfondie est utilisée pour s’assurer que le modèle généré est efficace sur presque tous les contenus du monde réel et des jeux.

Mise en route

RTX VSR nécessite un GPU GeForce RTX 40 ou 30 Series et fonctionne avec presque tous les contenus diffusés dans Google Chrome et Microsoft Edge.

Cette fonctionnalité nécessite également une mise à jour vers le dernier pilote GeForce Game Ready, disponible dès aujourd’hui, ou le prochain pilote NVIDIA Studio qui sortira en mars. Chrome (version 110.0.5481.105 ou supérieure) et Edge (version 110.0.1587.56) ont tous deux été mis à jour récemment pour prendre en charge RTX VSR.

Pour l’activer, lancez le panneau de configuration NVIDIA et ouvrez « Ajuster les paramètres de l’image vidéo ». Cochez la case super résolution sous « Amélioration vidéo RTX » et sélectionnez une qualité de un à quatre – allant du plus faible impact sur les performances du GPU au plus haut niveau d’amélioration de la mise à l’échelle.

https://blogs.nvidia.com/blog/2023/02/28/rtx-video-super-resolution/