Les manchettes alarmantes disent le contraire, l’armée américaine ne construit pas de » machines à tuer » robotiques. Ce qu’ils veulent vraiment que l’intelligence artificielle fasse au combat est beaucoup plus « intéressant » !.
Non, l’armée ne transforme pas les chars d’assaut en » machines à tuer » robotiques, comme l’ont dit certains grands titres la semaine dernière. Au lieu de cela, dans le cadre des efforts urgents de l’armée pour l’intelligence artificielle, un programme de l’armée baptisé ATLAS est en train de développer une IA qui agit comme un soldat virtuel dans la tourelle, un programme conçu pour aider l’équipage humain.
Malgré un nom alarmant, Advanced Targeting & Lethality Automated System, ATLAS est en fait destiné à aider les humains à repérer les menaces qu’ils auraient pu manquer, à prioriser les cibles potentielles et même à utiliser l’arme à feu – mais il sera physiquement incapable de tirer lui-même.
« Imaginez que c’est une seconde paire d’yeux, c’est très rapide », précise l’ingénieur de l’armée Don Reago, « comme un soldat de plus dans le char ».
Don Reago est directeur de la vision nocturne et des capteurs électroniques au Fort Belvoir (qui fait partie du Commandement du développement des capacités de combat récemment réorganisé), et il a travaillé pendant 30 ans sur ce que l’armée appelle la reconnaissance assistée des cibles. Le service a toujours évité le terme plus courant, Reconnaissance automatisée des cibles, a-t-il dit, parce qu’il met moins l’accent sur le rôle des humains.
Quel que soit le nom que vous lui donnez, le système de reconnaissance des cibles d’ATLAS utilisera des algorithmes d’apprentissage automatique, formés/entrainés à partir de vastes bases de données que l’armée devra constituer, se protégera contre la désinformation et se tiendra à jour. La Silicon Valley est très douée pour analyser les photos Facebook et les GIF de chats drôles, pas tellement pour distinguer un T-90 d’un Leopard II.
La première démonstration se fera sur un autocanon de 50 mm, plus petit que le canon principal de 120 mm d’un M1 mais, fait intéressant, le même canon XM913 que celui que l’armée veut pour son futur véhicule de combat habité en option.
Une fois ATLAS mis en service, l’IA d’un véhicule blindé donné comparera les données de plusieurs capteurs, peut-être même de plusieurs véhicules, pour faire face au camouflage et au spoofing. Ensuite, il identifiera les cibles potentielles et les indiquera à l’équipage. Le niveau de détail qu’ATLAS fournit à l’utilisateur dépendra de la qualité des algorithmes qu’il obtiendra après avoir été formé/entrainé. Mais l’IA laissera à l’humain le soin de déterminer l’intention hostile, ce que le droit de la guerre exige avant d’ouvrir le feu en légitime défense.
« ATLAS … pourrait dire « c’est un humain qui semble porter une arme », souligne Don Reago. « L’algorithme ne juge pas vraiment si quelque chose est hostile ou non. Il s’agit simplement d’alerter le soldat, [et] il doit utiliser sa formation/entrainement et sa compréhension pour prendre cette décision finale. »
Surtout, ATLAS ne sera pas un second doigt sur la gâchette. « Le soldat devrait appuyer sur le bouton de la paume de la main pour déclencher le tir « , a déclaré Bob Stephan, qui travaille sur les chars depuis des années et qui est maintenant responsable du projet ATLAS à l’arsenal de Picatinny, au New Jersey. « Si elle n’est jamais abaissée, le percuteur n’atteindra jamais l’arme…… C’est comme ça qu’on s’assurera qu’ATLAS n’est jamais autorisé à tirer de façon autonome. »
Pièges et mesures de protection
Cela dit, bien que l’armée n’ait pas l’intention de donner à ATLAS la capacité de tirer par ses propres moyens, il serait physiquement possible de le faire. Même pour les systèmes de tir purement mécaniques sans composant logiciel, tels que l’interrupteur et la gâchette de la paume du canon de char, vous pouvez installer un servo commandé par l’IA pour les actionner au lieu d’une main humaine.
C’est ce qui inquiète Stuart Russell, un scientifique et activiste de Berkeley AI, qui a été jusqu’ici le critique public le plus important d’ATLAS. Même si l’être humain est » dans le coup « [actuellement], l’étape de l’ « approbation » pourrait facilement être éliminée « , assure Stuart Russell, » ce qui signifie qu’il s’agit d’une autonomie mortelle en tout sauf le nom « .
Même si l’armée tient sa promesse de tenir un humain au courant, a poursuivi Stuart Russell, il y a un potentiel pour ce qu’on appelle le « biais d’automatisation ». C’est une forme de stupidité artificielle qui se produit lorsqu’une interface mal conçue ou des opérateurs mal entraînés réduisent le rôle humain à appuyer sur n’importe quel bouton recommandé par l’IA – comme le chien de Pavlov, uniquement avec des canons de char.
Comme l’a expliqué l’armée, ATLAS présentera une liste d' »objets d’intérêt » parmi lesquels l’opérateur humain pourra choisir. ATLAS met alors le canon sur l' »objet » choisi – même les ingénieurs ont dû s’empêcher de dire « cible » – pour que l’homme puisse regarder à travers les viseurs du canon, le capteur le plus détaillé disponible, pour faire le dernier appel.
Mais il est facile d’imaginer un soldat sautant le contrôle visuel et tirant à l’aveuglette, surtout dans une situation de stress élevé avec des menaces de toutes parts. Après tout, les conducteurs de Tesla sont censés garder les yeux sur la route et les mains sur le volant lorsque le fameux pilote automatique de la voiture est engagé, mais au moins certains d’entre eux ne l’ont pas fait, entraînant des accidents mortels. Et ça, c’est avec une voiture de 2 tonnes, pas avec un char de 70 tonnes tirant des obus de 25 kg.
Vous ne voulez donc pas que votre système automatisé fasse 99 % du travail et ne demande qu’à l’humain d’intervenir à la fin. « Si l’humain est pleinement engagé dans le processus de décision, il devrait identifier activement les cibles plutôt que d’attendre que la machine le fasse « , lance Stuart Russell. « L’être humain a une bien meilleure compréhension de la situation générale, du risque d’erreur d’identification, etc. Imaginez à quel point le système d’IA sera efficace dans un stationnement de relais routiers, par exemple, avec différents véhicules et différentes personnes se déplaçant de façon imprévisible et à proximité les uns des autres. »
Même des détails subtils de l’interface utilisateur ou de la formation peuvent induire un biais d’automatisation, a déclaré Paul Scharre, un Ranger de l’Armée de terre devenu analyste de thinktank qui est généralement optimiste sur les nouvelles technologies. « Ce n’est pas suffisant pour que les ingénieurs qui le construisent comprennent ce qu’il va faire « , insiste Paul Scharre. « La personne qui appuie sur le bouton pour le lancer doit comprendre. »
L’armée est bien consciente de ces problèmes, lancent les ingénieurs d’ATLAS. « Une partie importante de la stratégie est d’amener le soldat dans la boucle à de multiples points du processus, souligne Don Reago, pour qu’il fasse partie intégrante de la chaîne des événements, et pas seulement en appuyant sur un bouton à la fin.
Par exemple, si l’écran d’ATLAS montre un » objet d’intérêt » dans un réticule rouge vif, ou si les opérateurs sont formés pour faire confiance à l’automatisation plutôt qu’au simple jugement humain, les gens vont probablement tirer quand ils ne devraient pas. Mais si le système étiquette les cibles potentielles en jaune, par exemple – comme un feu de circulation – et que les opérateurs sont formés pour être tenus responsables par la cour martiale pour chaque soldat civil ou ami mort, cela prédisposera les troupes à la prudence.
- Les humains peuvent toujours éteindre ATLAS. L’utiliser ou non sera un choix tactique.
- Même avec ATLAS en marche, l’équipage du char d’assaut sera formé principalement à utiliser ses propres yeux, ses propres oreilles et son propre jugement pour balayer les environs. Ils pourront regarder les mêmes flux de capteurs qu’ATLAS est en train d’analyser ou – ce qu’ATLAS ne peut pas faire – sortir la tête des écoutilles pour regarder et écouter.
- Lorsqu’ATLAS propose des cibles potentielles, l’équipage peut ajouter des « objets d’intérêt » à la liste d’ATLAS, supprimer des choses qu’il ne considère pas comme des menaces, ou même désactiver ATLAS.
- Enfin, une fois qu’ATLAS a apporté l’arme, c’est à l’artilleur de regarder à travers le canon, d’identifier la cible et d’ouvrir le feu ou non.
C’est semblable aux contrôles de chasseurs-tueurs actuels, dans lesquels le commandant du char peut faire pivoter la tourelle pour viser une cible qu’il a repérée, mais le tireur ne l’a pas encore fait. Tout comme les systèmes chasseurs-tueurs permettent au commandant (humain) d’aider l’artilleur (humain) sans prendre la relève, ATLAS est destiné à aider l’équipage humain sans que l’automatisation ne prenne le relais. L’idée est de mélanger le meilleur de l’humain et de la machine, une synergie que Robert Work, alors secrétaire adjoint à la défense, assimilait au centaure mythique.
« Notre but est, a toujours été, d’aider le soldat, assure Don Reago. « Nous ne leur enlèverons pas leur capacité actuelle d’agir par eux-mêmes. C’est plutôt une assistante. Nous ne construisons pas de robots tueurs. Ça ne m’intéresse pas du tout. »
Quelqu’un d’autre dans l’armée aimerait sortir l’humain de la boucle ? En 30 ans de travail sur la reconnaissance assistée des cibles, Don Reago a répondu : » J’ai eu la chance… d’avoir parlé à beaucoup, presque tous les hauts gradés de l’armée, et aucun d’eux n’a jamais rien dit de tel « .
« Ils croient fermement en la capacité[et] l’habileté de nos soldats « , m’a dit Reago. « C’est l’un de nos joyaux de la couronne,[et] je ne vois pas comment une machine pourrait remplacer ça. »
« Notre politique est d’avoir un humain dans le coup parce qu’un humain peut comprendre le contexte « , a déclaré le sous-secrétaire de l’armée Ryan McCarthy, lui-même un vétéran des opérations des Rangers en Afghanistan, lorsque je lui ai posé des questions sur l’IA lors d’un événement public cet après-midi. Quant aux machines, dit-il, » elles peuvent analyser les données en l’espace d’une nanoseconde ou aussi vite qu’elles le font, mais il faut avoir un être humain pour comprendre le contexte, pour savoir s’il faut tirer ou non, et pour prendre la photo « .
« Je ne m’attends pas à ce qu’il en soit autrement dans un proche avenir « , a dit M. McCarthy.
Mais si les intentions de l’armée sont si modestes, pourquoi ont-elles suscité tant d’anxiété ? Si ATLAS est si bénin, pourquoi ATLAS signifie-t-il « Advanced Targeting & Lethality Automated System » ?
La réponse réside à la fois dans les applications potentielles de la technologie, comme le souligne Russell, et dans la difficulté de l’armée américaine à s’expliquer au secteur technologique, à la communauté scientifique ou au peuple américain.
https://breakingdefense.com/2019/03/atlas-killer-robot-no-virtual-crewman-yes/
https://qz.com/1558841/us-army-developing-ai-powered-autonomous-weapons/
