Les vieux dessins animés peuvent sembler très stéréotypés et prévisibles. Il n’y a pas de grandes surprises, pas de rebondissements, pas d’accrochages. Les histoires suivent généralement un schéma similaire, et tout est toujours résolu juste avant la fin de l’épisode. Cette prévisibilité systématique fait d’eux le parfait sujet de test pour une approche d’apprentissage automatique de la compréhension des intrigues du film.
L’auteur Kurt Vonnegut a dit un jour que les formes simples des histoires pouvaient être analysées par les ordinateurs. …
Découvrez la base de données des scènes des Pierrafeu (FSD : Flinstones Scene Dataset), créée par les informaticiens de l’université Ben-Gurion en Israël. Il s’agit d’une collection de plus de 1500 scènes tirées de plusieurs épisodes des Pierrafeu, qui ont été soigneusement décrites et étiquetées.
Le travail fastidieux consistant à regarder chaque scène et à étiqueter les éléments de l’histoire a été effectué par des humains, car les ordinateurs ne peuvent pas encore traiter ce qui est montré à l’écran. (C’est d’ailleurs pourquoi les mèmes en ligne du type « des gens ont formé une IA à regarder une émission de télévision et voici le script qu’elle a écrit » ne sont jamais réels).
L’ensemble de données annotées des scènes des Pierrafeu a transformé un dessin animé visuel en catégories de texte soignées décrivant des scènes et des situations spécifiques. C’est le type d’information qu’un ordinateur comprend et, dans un article récent, les chercheurs décrivent comment ils ont pu utiliser l’ensemble de données pour identifier des structures narratives reconnaissables. Cela fonctionne bien avec les dessins animés à formule comme les Pierrafeu, car les courts épisodes ont tous des structures narratives bien définies, un peu comme la structure classique en trois actes de mise en place, de confrontation et de résolution qui remonte aux œuvres d’Aristote.
Si une analyse informatique de l’ensemble des données des Pierrafeu est capable d’identifier la structure narrative, cela suggère qu’il pourrait être possible de faire quelque chose de similaire avec d’autres séries télévisées et films, peut-être avec des structures narratives plus complexes. Ce type de travail pourrait par exemple améliorer les services de recommandation et permettre de prévoir le type d’histoires que les gens aiment en se basant sur la narration, plutôt que sur le type de vagues ressemblances qui font maintenant partie de ces recommandations. (Par exemple, Netflix a recommandé que je regarde des émissions de pâtisserie parce que j’ai regardé l’émission Top Chef, sans reconnaître que c’est peut-être la prémisse comique de l’émission – et non la simple présence de gâteaux – qui faisait partie de l’attrait).
L’idée que la narration est quelque chose que l’on peut analyser avec un algorithme informatique n’est pas nouvelle. L’écrivain Kurt Vonnegut a décrit quelques formes d’histoires différentes qui, selon lui, pourraient s’adapter à toutes les histoires existantes. Il a même déclaré : « Il n’y a aucune raison pour que les formes simples des histoires ne puissent pas être introduites dans les ordinateurs », et c’est exactement ce que font les chercheurs actuellement.
Il y a quelques années, des chercheurs de l’Université du Vermont ont analysé le texte de plus de 1700 romans et autres œuvres de fiction et ont utilisé l’apprentissage automatique pour mesurer comment le sentiment des histoires changeait au fur et à mesure de l’avancement des travaux. Ils ont pu identifier des modèles correspondant aux formes des histoires de Kurt Vonnegut.
Ce type de recherche est beaucoup plus difficile à réaliser avec des médias visuels comme la télévision ou le cinéma, pour les raisons mentionnées ci-dessus. Pour qu’un ordinateur puisse analyser ces changements de sentiments ou ces modèles spécifiques dans le récit, la vidéo doit d’abord être convertie en texte – et cela va bien au-delà de la simple alimentation d’un script. La cinématographie et la musique constituent également une grande partie de l’histoire et ne sont pas facilement converties en descriptions écrites, mais un ensemble de données balisées comme celui des Pierrafeu permet de procéder à une analyse automatique.
L’article décrivant le jeu de données des Pierrafeu a été publié dans la revue PLOS One, qui a également rassemblé plusieurs autres articles sur la science des histoires dans une collection thématique. Cela suggère qu’il s’agit d’un domaine de recherche qui intéresse de plus en plus les scientifiques.
Même si nous avons tendance à penser que la fiction n’a aucun rapport avec l’analyse scientifique ou l’apprentissage machine, il semble que Kurt Vonnegut avait raison : On peut étudier des histoires avec des ordinateurs.
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0228579
