Légende: La technique CW-Net explique le comportement d’un véhicule autonome à l’aide de concepts compréhensibles. « Au lieu de simplement se demander pourquoi la voiture s’est arrêtée, disposer de données en temps réel fournit un retour d’information qui permet de tester le système pendant son déploiement », explique Eoin Kenny. Crédits: MIT News

Une nouvelle méthode, appelée CW-Net, traduit le processus de raisonnement du système d’IA d’un véhicule autonome en concepts compréhensibles qui expliquent son comportement.

Les voitures autonomes sont souvent pilotées par des modèles d’apprentissage profond qui peuvent parfois dysfonctionner dans des situations imprévues. Par exemple, la voiture peut freiner brusquement et bloquer la route à un véhicule d’urgence arrivant en sens inverse. Un conducteur ou un passager humain peut alors devoir réagir rapidement pour éviter une collision.

Pour aider les humains à mieux anticiper les erreurs d’un véhicule, des chercheurs du MIT et de la société de technologie des véhicules autonomes Motional ont développé une nouvelle méthode qui fournit des explications claires des décisions du modèle sous-jacent.

Le processus de raisonnement interne d’un modèle d’apprentissage profond est généralement opaque et difficile à comprendre. La nouvelle méthode, appelée Concept-Wrapper Network (CW-Net), traduit ce processus en concepts qui décrivent fidèlement les décisions du véhicule autonome sans altérer ses performances de conduite.

CW-Net explique les décisions des planificateurs basés sur l’apprentissage automatique à l’aide de concepts compréhensibles, comme « approche d’un véhicule arrêté » ou « proximité d’un cycliste ». Ces explications peuvent corriger les idées fausses que les conducteurs et les passagers peuvent avoir sur le comportement des véhicules et améliorer leur conscience de la situation.

Lors d’essais routiers sur circuit privé, les explications fournies par CW-Net ont permis aux conducteurs de sécurité d’anticiper plus précisément le comportement du véhicule ; une étude de simulation à plus grande échelle, menée auprès d’utilisateurs non experts, a donné des résultats similaires. Ces expériences démontrent comment CW-Net peut apporter un retour d’information précieux aux ingénieurs lors du dépannage des systèmes d’intelligence artificielle embarqués. À plus long terme, cette technique pourrait renforcer la sécurité et la transparence des véhicules autonomes, tout en instaurant un climat de confiance approprié avec les conducteurs et les passagers.

« Ces travaux montrent comment les explications soutiennent le modèle mental humain et sa compréhension du comportement d’un système, et comment elles pourraient être utilisées en ingénierie et en développement pour améliorer la technologie », explique Julie Shah, professeure d’aéronautique et d’astronautique au MIT, directrice du groupe de robotique interactive au Laboratoire d’informatique et d’intelligence artificielle (CSAIL) et co-auteure principale de l’article sur CW-Net . « Si nous ne concevons pas ces technologies de manière à ce que nous puissions nous fier à leur comportement et le prédire, leur utilisation reposera sur des bases fragiles et dangereuses. »

Elle est accompagnée dans cette étude par Eoin Kenny, auteur principal et ancien postdoctorant au MIT, aujourd’hui chercheur senior en intelligence artificielle chez JP Morgan Chase ; Momchil Tomov, co-auteur principal et chercheur chez Motional ; ainsi que par les membres de l’équipe Motional : Akshay Dharmavaram, Sang Uk Lee, Tung Phan-Minh, Shreyas Rajesh, Yunqing Hu et Laura Major, présidente-directrice générale de Motional . Ces travaux de recherche sont publiés aujourd’hui dans la revue Nature .

Explications fidèles

Les systèmes de planification basés sur l’apprentissage automatique constituent le « cerveau » d’une voiture autonome. Ces puissantes architectures d’apprentissage profond traitent les données provenant des caméras et des capteurs lidar du véhicule, génèrent un résumé de haut niveau de l’environnement du véhicule, décident des actions à entreprendre et définissent une trajectoire à suivre.

Les systèmes de planification sont généralement des modèles « boîte noire », ce qui signifie que leur processus de décision interne est si complexe qu’il est difficile à comprendre. De ce fait, les scientifiques et les responsables de la sécurité peuvent être démunis face à une décision inattendue prise par un véhicule autonome, comme un freinage intempestif.

Les chercheurs ont conçu CW-Net pour expliquer les décisions d’un véhicule à l’aide de concepts compréhensibles, tout en veillant à ce que ces explications reflètent fidèlement les véritables raisons de son comportement. 

« Surtout dans des contextes à forts enjeux comme celui des voitures autonomes, il est important que les explications ne soient pas potentiellement trompeuses. Le fait que CW-Net soit fidèle à la causalité dans sa prise de décision offre certaines garanties quant à la fiabilité des explications », explique Kenny.

CW-Net est un « classificateur de concepts », un algorithme d’IA entraîné à prédire les concepts de haut niveau présents dans les données d’entrée. Les chercheurs intègrent le module CW-Net au cœur de l’architecture de planification d’apprentissage automatique existante d’un véhicule autonome.

Il traduit le processus de raisonnement interne du modèle en concepts compréhensibles, tels que « approche d’un véhicule arrêté » ou « proche d’un cycliste ». Il contraint ensuite la dernière composante de l’architecture du modèle de planification à utiliser ces concepts pour déterminer la prochaine action du véhicule. Ainsi, CW-Net garantit que les concepts décrivent fidèlement les actions du véhicule. 

Dans le même temps, CW-Net utilise les concepts qu’il a classifiés pour générer des explications claires qui sont affichées en même temps que la trajectoire du véhicule, en temps réel.

« Au lieu de simplement se demander pourquoi la voiture s’est arrêtée, disposer de données en temps réel permet de tester le système pendant son déploiement. On pourrait également transmettre ces données à un ingénieur afin d’améliorer potentiellement le système », explique Kenny. 

Les chercheurs ont entraîné CW-Net à prédire des concepts à l’aide d’un ensemble de données de 130 millions d’exemples de scènes de véhicules autonomes, chaque scène comportant plusieurs concepts étiquetés. L’utilisation d’un ensemble de données aussi vaste et étiqueté lui permet d’identifier avec précision les concepts dans un large éventail de contextes.

Ils ont également conçu CW-Net pour imiter les décisions de conduite des planificateurs basés sur l’apprentissage automatique, afin que le module n’ait pas d’impact négatif sur les performances du véhicule.

Au final, CW-Net génère des explications précises et compréhensibles sans altérer le modèle d’apprentissage profond original.

Améliorer la conscience situationnelle

Pour tester CW-Net, les chercheurs ont déployé le module sur un véritable véhicule d’essai de conduite autonome (un robotaxi Motional) sur une piste privée avec un conducteur de sécurité. Ils ont constaté que CW-Net aidait ce dernier à mieux anticiper le comportement du véhicule dans des situations imprévues.

Par exemple, le véhicule s’arrêtait systématiquement à l’approche d’un cycliste, et le conducteur de sécurité supposait que cela était dû à la détection du cycliste. Or, les explications de CW-Net ont révélé que le modèle n’était pas correctement configuré pour détecter le cycliste et avait emprunté une trajectoire qui aurait provoqué une collision. En réalité, l’arrêt était dû au déclenchement du freinage d’urgence lorsque le véhicule s’est approché de trop près.

Grâce à ces informations sur le défaut du modèle, le conducteur de sécurité pourrait réduire sa vitesse ou passer en mode de conduite manuelle plus tôt dans des situations similaires. Cela pourrait également aider les ingénieurs à corriger le modèle afin d’éviter ce problème à l’avenir.

Dans des études de simulation en ligne à plus grande échelle, utilisant des situations de conduite réelles capturées sur les routes de Las Vegas, les chercheurs ont observé des résultats similaires. Les explications fournies par le réseau CW-Net ont considérablement amélioré la capacité des participants à prédire le comportement d’un véhicule autonome.

À l’avenir, les chercheurs pourraient étendre CW-Net afin que le module puisse couvrir davantage de concepts et explorer différentes techniques de formation et de conception susceptibles d’améliorer les performances et l’interprétabilité.

« Notre étude montre à quel point l’interprétabilité peut être cruciale dans ces environnements à forts enjeux, et qu’elle devrait être prise en compte par les personnes qui développent l’IA à l’avenir, pour les voitures autonomes ou d’autres environnements critiques pour la sécurité », déclare Kenny.

https://news.mit.edu/2026/system-helps-humans-predict-when-self-driving-cars-will-make-mistakes-0902