De nouveaux modèles d'IA combinant langage et vision transforment l'analyse vidéo du trafic pour améliorer la sécurité routière.

Des chercheurs de NYU Tandon remportent le prix Vision Zero de la ville de New York pour une IA révolutionnaire qui va au-delà du simple traitement vidéo : elle permet de raisonner automatiquement sur les risques pour la sécurité routière à partir de milliers d’heures d’images.

Les milliers de caméras de circulation de la ville de New York capturent chaque jour des heures et des heures d'images, mais l'analyse de ces vidéos pour identifier les problèmes de sécurité et mettre en œuvre des améliorations nécessite généralement des ressources dont la plupart des agences de transport ne disposent pas.

Des chercheurs de l'école d'ingénierie Tandon de l'université de New York ont ​​mis au point un système d'intelligence artificielle capable d'identifier automatiquement les collisions et les quasi-accidents dans les vidéos de circulation existantes en combinant le raisonnement linguistique et l'intelligence visuelle, ce qui pourrait transformer la manière dont les villes améliorent la sécurité routière sans investissements majeurs.

L'équipe de recherche C2SMART avec son Vision Zero Research Award. De gauche à droite : Kaan Ozbay, Ruixuan Zhang, Zilin Bian, Jingqin (Jannie) Gao et Shuo Zhang. Crédit photo : Jingqin (Jannie) Gao.

Publiée dans la revue Accident Analysis and Prevention , cette recherche a remporté le prix Vision Zero de la ville de New York, une distinction annuelle récompensant les travaux qui s'inscrivent dans les priorités de la ville en matière de sécurité routière et qui proposent des solutions concrètes. Le professeur Kaan Ozbay , principal auteur de l'article, a présenté l'étude lors du huitième symposium annuel Research on the Road, le 19 novembre.

Ce travail illustre la collaboration interdisciplinaire entre les experts en vision par ordinateur du nouveau Centre de robotique et d'intelligence incarnée de l'Université de New York et les chercheurs en sécurité des transports du centre C2SMART de NYU Tandon , où Ozbay occupe le poste de directeur.

En identifiant automatiquement le lieu et le moment des collisions et des quasi-accidents, le système de l'équipe, baptisé SeeUnsafe, peut aider les agences de transport à repérer les intersections dangereuses et les conditions routières nécessitant une intervention avant que des accidents plus graves ne surviennent. Il exploite des modèles d'IA pré-entraînés capables de comprendre à la fois les images et le texte, ce qui constitue l'une des premières applications de modèles de langage multimodaux à grande échelle pour l'analyse de longues vidéos de trafic.

« À New York, un millier de caméras fonctionnent 24 h/24 et 7 j/7. Il est impossible de faire examiner et analyser manuellement toutes ces images », a déclaré Ozbay. « SeeUnsafe offre aux autorités municipales un moyen très efficace de tirer pleinement parti de cet investissement existant. »

« Les agences n'ont pas besoin d'être des experts en vision par ordinateur. Elles peuvent utiliser cette technologie sans avoir à collecter et à étiqueter leurs propres données pour entraîner un modèle d'analyse vidéo basé sur l'IA », a ajouté Chen Feng , professeur associé à NYU Tandon , cofondateur et directeur du Centre de robotique et d'intelligence incarnée, et co-auteur de l'article.

Testé sur l'ensemble de données Toyota Woven Traffic Safety, SeeUnsafe a surpassé les autres modèles, classant correctement les vidéos comme collisions, quasi-accidents ou circulation normale dans 76,71 % des cas. Le système peut également identifier les usagers de la route impliqués dans des événements critiques, avec un taux de réussite atteignant 87,5 %.

Traditionnellement, les mesures de sécurité routière ne sont mises en œuvre qu'après un accident. En analysant les situations à risque – comme les véhicules passant trop près des piétons ou effectuant des manœuvres dangereuses aux intersections – les autorités peuvent identifier proactivement les zones dangereuses. Cette approche permet la mise en place de mesures préventives telles qu'une signalisation améliorée, une optimisation des feux de circulation et une réorganisation du réseau routier avant que des accidents graves ne surviennent.

Le système génère des « rapports de sécurité routière » — des explications en langage naturel de ses décisions, décrivant des facteurs tels que les conditions météorologiques, le volume de trafic et les mouvements spécifiques qui ont conduit à des quasi-accidents ou à des collisions.

Bien que le système présente des limitations, notamment sa sensibilité à la précision du suivi des objets et ses difficultés en conditions de faible luminosité, il jette les bases de l'utilisation de l'IA pour « comprendre » le contexte de la sécurité routière à partir d'immenses quantités d'images de trafic. Les chercheurs suggèrent que cette approche pourrait être étendue aux caméras embarquées, permettant potentiellement une évaluation des risques en temps réel du point de vue du conducteur.

Ces recherches viennent enrichir un ensemble croissant de travaux menés par C2SMART visant à améliorer les systèmes de transport de la ville de New York. Parmi les projets récents, on peut citer l'étude de l' impact des poids lourds électriques sur les routes et les ponts de la ville , l'analyse  de l'influence des radars de vitesse sur le comportement des conducteurs dans différents quartiers , le développement d'un jumeau numérique permettant d'  optimiser les itinéraires et de réduire les délais d'intervention des pompiers de New York (FDNY) , ainsi qu'une collaboration pluriannuelle avec la Ville pour surveiller l'autoroute Brooklyn-Queens et y détecter les véhicules en surcharge susceptibles de causer des dommages.

https://engineering.nyu.edu/news/new-ai-language-vision-models-transform-traffic-video-analysis-improve-road-safety