Les modèles de langage de vision IA de Northeastern fournissent des descriptions permettant aux utilisateurs aveugles de « voir » des vidéos

SAN JOSE, Californie — Pour les personnes aveugles ou malvoyantes, les descriptions audio des actions dans les films et les séries télévisées sont essentielles pour comprendre ce qui se passe. Les chaînes et les services de streaming font appel à des professionnels pour créer des descriptions audio, mais ce n'est pas le cas pour les milliards de vidéos YouTube et TikTok.

Cela ne signifie pas que les gens ne veulent pas accéder au contenu.

Grâce à des modèles de langage visuel (MLV) basés sur l'IA, des chercheurs de l'Université Northeastern proposent des descriptions audio pour les vidéos générées par les utilisateurs, via une plateforme collaborative appelée YouDescribe. À la manière d'une bibliothèque, les utilisateurs aveugles et malvoyants peuvent demander des descriptions de vidéos, puis les noter et y contribuer. 

« Il est compréhensible qu'une vidéo de 20 secondes sur TikTok montrant quelqu'un en train de danser ne soit pas décrite comme professionnelle », explique Lana Do, titulaire d'un master en informatique du campus de la Silicon Valley de Northeastern en mai. « Mais les personnes aveugles et malvoyantes pourraient aussi apprécier cette vidéo de danse. »

D'ailleurs, une vidéo de 2020 de la chanson « Dynamite » du boys band sud-coréen BTS figure en tête de la liste de souhaits de YouDescribe, attendant d'être décrite. La plateforme compte 3 000 descripteurs bénévoles, mais la liste de souhaits est si longue qu'elle ne parvient pas à suivre. Selon Do, seulement 7 % des vidéos demandées sur la liste de souhaits sont accompagnées d'une description audio.

Do travaille dans le laboratoire d'Ilmi Yoon, professeur d'informatique sur le campus de la Silicon Valley. Yoon a rejoint l'équipe de YouDescribe en 2018 pour développer les éléments d'apprentissage automatique de la plateforme.

Cette année, Do a ajouté de nouvelles fonctionnalités pour accélérer le processus de travail de YouDescribe. La nouvelle technologie VLM offre des descriptions de meilleure qualité, et un nouvel outil d'infobot permettra aux utilisateurs de demander plus d'informations sur une image vidéo spécifique. Les utilisateurs malvoyants peuvent même corriger les erreurs dans les descriptions grâce à une interface d'édition collaborative, explique Do. 

Le résultat améliorera les descriptions de contenu vidéo et les rendra plus rapidement accessibles. Les brouillons générés par l'IA allègent la tâche des descripteurs humains, et les utilisateurs peuvent facilement participer au processus grâce aux notes et aux commentaires, a-t-elle déclaré.

« Ils pourraient dire qu'ils regardaient un documentaire se déroulant dans une forêt et qu'ils entendaient un bruit de battement d'ailes qui n'était pas décrit », explique Do, « et ils se demandaient ce que c'était. »

Do et ses collègues ont récemment présenté un article au Symposium sur l'interaction homme-machine pour le travail à Amsterdam, sur le potentiel de l'IA pour accélérer le développement des descriptions audio. L'IA est étonnamment performante, selon Yoon, pour décrire les expressions et les mouvements humains. Dans cette vidéo , un agent IA décrit les étapes suivies par un chef lors de la préparation de rouleaux de fromage.

Mais il existe des faiblesses récurrentes, dit-elle. L'IA n'est pas aussi performante pour déchiffrer les expressions faciales dans les dessins animés. Et globalement, les humains sont plus doués pour saisir les détails les plus importants d'une scène, une compétence essentielle pour créer une description pertinente.

« C'est très laborieux », explique Yoon. 

Les étudiants diplômés de son laboratoire comparent les premières ébauches de l’IA à ce que créent les descripteurs humains. 

« Nous mesurons ensuite les écarts afin d'entraîner l'IA à améliorer son travail », explique-t-elle. « Les utilisateurs aveugles ne veulent pas être distraits par trop de descriptions verbales. C'est un art éditorial que de verbaliser les informations les plus importantes de manière concise. »

YouDescribe a été lancé en 2013 par le Smith-Kettlewell Eye Research Institute, basé à San Francisco, pour former des bénévoles voyants à la création d'audiodescriptions. Axée sur les vidéos YouTube et TikTok, la plateforme propose des tutoriels pour l'enregistrement et le minutage des narrations, rendant ainsi accessibles les contenus vidéo créés par les utilisateurs.

https://news.northeastern.edu/2025/06/27/video-accessibility-blind-users-ai