La plateforme de streaming vidéo iQiyi a développé une IA qui permet de distinguer Pikachu de Bob l’éponge. Des scientifiques chinois ont créé une base de données avec plus de 5 000 personnages animés et avec un algorithme de reconnaissance de personnages animés, le taux de précision est de plus de 92 %.
Pensez-vous pouvoir choisir Sailor Moon parmi une foule de personnages d’anime ? Beaucoup de gens le pourraient probablement. Il faut peut-être moins d’une seconde à la plupart des gens pour choisir leur personnage d’animation préféré. Mais c’est une autre histoire pour la reconnaissance faciale.
Comme vous l’avez peut-être remarqué sur des sites comme Facebook et Google Photos, les systèmes de reconnaissance faciale se sont beaucoup améliorés pour reconnaître les visages humains au fil des ans. Il est cependant plus difficile de distinguer Doraemon de Bugs Bunny pour les machines.
iQiyi, souvent appelée le Netflix chinois, a fait des recherches sur l’utilisation de la reconnaissance faciale pour les héros (principalement) bidimensionnels de leurs spectacles. Fin juin, une équipe de recherche composée de scientifiques du site de streaming et de l’université Beihang de Pékin a publié un article présentant un ensemble de données de reconnaissance faciale de personnages animés appelé iCartoonFace.
Cet ensemble de données contient plus de 400 000 images de plus de 5 000 personnages animés. Il comprend non seulement des personnages ressemblant à des humains, mais aussi des animaux et des monstres.
Mais distinguer les personnages animés n’est pas aussi simple qu’il n’y paraît. Avec des couleurs et des textures différentes, le processus pour les machines est en fait plus complexe que la différenciation des visages humains. Et si la plupart des personnages ont des caractéristiques similaires à celles des humains, elles sont souvent exagérées.
Une partie du défi réside dans le fait qu’un personnage peut avoir une apparence différente selon la série ou l’univers. Différents artistes apportent également leur propre style à un personnage. Prenez par exemple Ash et Pikachu dans le film Pokémon : Mewtwo Strikes Back-Evolution qui est sorti sur Netflix en février. Le nouveau film utilise l’infographie, alors que l’anime original d’il y a 23 ans utilisait des animations dessinées à la main.
Afin de créer une reconnaissance faciale pour l’animation, les scientifiques ont créé une base de données de plus de 5 000 caractères.
Les chercheurs ont déjà essayé de créer des systèmes de détection faciale similaires. Malgré ces efforts, la reconnaissance de personnages animés n’en est qu’à ses débuts, a déclaré iQiyi.
Mais des progrès sont encore en cours. Lors d’un concours organisé le mois dernier par plusieurs universités chinoises, des équipes de l’université du Zhejiang et de l’université Sun Yat-sen ont créé un algorithme de reconnaissance de caractères avec une précision de 92 %.
Les scientifiques ont utilisé différents types de caractères animés et ont pris en considération le fait que certains caractères pouvaient avoir un aspect différent lorsqu’ils étaient dessinés par des artistes différents.
Mais si la reconnaissance faciale pour l’animation est si difficile, pourquoi s’en préoccuper ?
iQiyi semble avoir bon espoir quant aux avantages potentiels. La société affirme que la technologie pourrait être utilisée pour des choses comme le montage automatique, le tournage, les recommandations publicitaires et la modélisation assistée par ordinateur. iQiyi la propose également actuellement comme fonctionnalité sur la plate-forme, permettant aux utilisateurs d’identifier les personnages.
Il y a potentiellement des milliards de raisons pour ce type d’investissement dans les technologies liées à l’animation. Selon une estimation de Research and Markets, la valeur de l’industrie mondiale de l’animation s’élève à 250 milliards de dollars US. Le rapport estime que la valeur de l’industrie en Chine était de 200 milliards de yuans (28,6 milliards de dollars US) l’année dernière. L’industrie de l’animation est également en plein essor à la suite de la pandémie de Covid-19, car il s’agit d’une forme de divertissement qui peut être produite à distance.
iQiyi a également travaillé sur d’autres projets d’intelligence artificielle. Elle a développé des programmes d’apprentissage automatique qui pourraient aider au montage des séquences ou au casting des acteurs. Le casting se fait en faisant correspondre les descripteurs de rôle avec les performances précédentes d’un acteur, mais il n’est utilisé que pour les rôles de soutien pour le moment.
La reconnaissance faciale pourrait également aider les fans à passer à des scènes spécifiques dans lesquelles leurs acteurs préférés apparaissent. Les spécialistes du marketing pourraient également trouver utile de mesurer la popularité d’un acteur en calculant le temps passé à l’écran.
https://kr-asia.com/iqiyi-chinas-netflix-has-facial-recognition-for-animated-characters
