L’AlphaStar de DeepMind a battu tous les meilleurs humains, sauf les meilleurs, dans ce jeu vidéo de science-fiction au rythme effréné. Les joueurs de StarCraft II s’affrontent dans une zone de guerre futuriste
Les joueurs du jeu vidéo de science-fiction StarCraft II ont affronté un adversaire inhabituel cet été. Une intelligence artificielle (IA) connue sous le nom d’AlphaStar – qui a été construite par la firme d’IA DeepMind de Google – a obtenu une note de grand maître après avoir été lancée sur les serveurs européens du jeu, se classant parmi les 0,15% des 90 000 meilleurs joueurs de la région.
Le résultat, publié le 30 octobre dans Nature, montre qu’une IA peut rivaliser aux plus hauts niveaux de StarCraft II, un jeu de stratégie en ligne massivement populaire dans lequel les joueurs s’affrontent en temps réel comme l’une des trois factions – les forces Terranes humaines ou les aliens Protoss et Zerg – s’affrontant dans une guerre futuriste.
DeepMind, qui a déjà construit des IA de classe mondiale qui jouent aux échecs et au Go, a fait de StarCraft II sa prochaine référence dans la quête d’une IA générale – une machine capable d’apprendre ou de comprendre toute tâche que les humains peuvent accomplir – en raison de la complexité stratégique du jeu et de son rythme rapide.
« Je ne m’attendais pas à ce que l’IA soit essentiellement surhumaine dans ce domaine si rapidement, peut-être pas avant quelques années encore « , dit Jon Dodge, chercheur en IA à l’Université de l’Oregon State à Corvallis.
L’IA autodidacte est encore meilleure au jeu de stratégie Go
Dans StarCraft II, les joueurs expérimentés sont multitâches en gérant les ressources, en exécutant des manœuvres de combat complexes et, en fin de compte, en dépassant en stratégie leurs adversaires. Les professionnels jouent au jeu à un rythme effréné, réalisant plus de 300 actions par minute. Les techniques d’apprentissage machine qui sous-tendent l’IA de DeepMind reposent sur des réseaux neuronaux artificiels, qui apprennent à reconnaître des modèles à partir de grands ensembles de données, plutôt que de recevoir des instructions spécifiques.
DeepMind a opposé AlphaStar à des joueurs de haut niveau pour la première fois en décembre 2018, dans une série de jeux tests en laboratoire. L’IA a joué – et battu – deux joueurs humains professionnels. Mais les critiques ont affirmé que ces matchs de démonstration n’étaient pas un combat équitable, car AlphaStar avait une vitesse et une précision surhumaines.
Avant que l’équipe ne laisse AlphaStar sortir du laboratoire et s’installer sur les serveurs européens StarCraft II, elle a limité les réflexes de l’IA pour en faire un concours plus équitable. En juillet, les joueurs ont été avisés qu’ils pouvaient choisir d’être jumelés à l’IA. Pour garder l’essai à l’aveugle, DeepMind a masqué l’identité d’AlphaStar.
« Nous voulions que ce soit comme une expérience à l’aveugle « , dit David Silver, qui codirige le projet AlphaStar. « Nous voulions vraiment jouer dans ces conditions et comprendre à quel point ce groupe d’humains est performant contre nous. »
L’entraînement d’AlphaStar a porté ses fruits : il a écrasé des adversaires de bas rang et a finalement accumulé 61 victoires sur 90 matchs contre des joueurs de haut rang.
Complexité stimulante
La complexité de StarCraft II pose d’immenses défis aux IA. Contrairement aux échecs, StarCraft II a des centaines de « pièces » – des soldats dans les armées des factions – qui se déplacent simultanément en temps réel, et non de façon ordonnée, tour par tour. Alors qu’une pièce d’échecs a un nombre limité de coups légaux, AlphaStar a 1026 actions à choisir à tout moment. Et StarCraft II, contrairement aux échecs, est un jeu d’informations imparfaites – les joueurs ne peuvent souvent pas voir ce que fait leur adversaire. Cela le rend imprévisible.
Depuis près d’une décennie, les chercheurs opposent les IA de StarCraft et de StarCraft II dans le cadre d’un concours annuel. Cependant, contrairement à AlphaStar, la plupart de ces » robots » s’appuyaient sur des règles codées en dur, plutôt que sur des réseaux neuronaux qui peuvent s’auto-former. Oriol Vinyals, qui co-dirige maintenant le projet AlphaStar, faisait partie de l’équipe de l’Université de Californie à Berkeley, qui a remporté le premier concours en 2010.
« À l’époque, j’ai commencé à me dire qu’on devrait peut-être faire de l’apprentissage[automatique], mais c’était tout simplement trop tôt « , précise Oriol Vinyals.
En 2016, Oriol Vinyals a rejoint DeepMind, où il a commencé à travailler sur des IA qui pourraient leur apprendre à jouer à StarCraft II. AlphaStar a commencé sa formation en apprenant à imiter à partir d’un ensemble de près d’un million de jeux humains. Pour améliorer encore le jeu d’AlphaStar, DeepMind a créé une ligue où les versions de l’IA s’affrontaient. Cette méthode a du sens pour un jeu comme StarCraft II dans lequel aucune stratégie n’est la meilleure – ainsi que pour de nombreuses autres applications réelles de l’IA, explique Kai Arulkumaran, un chercheur en IA à l’Imperial College London.
Des acteurs perspicaces
DeepMind a également imposé des contraintes à AlphaStar pour s’assurer que l’intelligence artificielle était vraiment surpensée et pas seulement pour surclasser ses adversaires humains. Parce que le jeu récompense la capacité de cliquer rapidement, un ordinateur qui clique à une vitesse surhumaine pourrait battre les humains sans être plus intelligent ni prendre de meilleures décisions. Ainsi DeepMind a limité la vitesse des réflexes d’AlphaStar à celle des joueurs humains expérimentés.
Dans ces conditions, et après 27 jours d’entraînement, AlphaStar s’est placé dans le top 0,5% de tous les joueurs sur le serveur européen.
Après 50 parties, cependant, DeepMind s’est heurté à un problème. Certains joueurs avaient remarqué que trois comptes utilisateurs sur la plate-forme de jeu Battle.net avaient joué exactement le même nombre de jeux StarCraft II au cours d’une période similaire – les trois comptes qu’AlphaStar utilisait en secret. En regardant la retransmission de ces matchs, les joueurs ont remarqué que le propriétaire du compte effectuait des actions qui seraient extrêmement difficiles, voire impossibles, pour un humain. En réponse, DeepMind a commencé à utiliser un certain nombre d’astuces pour garder la version d’essai aveugle et empêcher les joueurs de voir AlphaStar, par exemple en changeant régulièrement de compte.
La version finale d’AlphaStar s’est appuyée sur 44 jours d’entraînement cumulés et a souvent rencontré des joueurs professionnels. L’IA n’a pas réussi à battre le meilleur joueur du monde, comme les IA l’ont fait aux échecs et au Go, mais DeepMind considère que son point de référence a été atteint, et dit qu’il a terminé le défi StarCraft II.
D’autres scientifiques de l’IA ne sont pas encore convaincus qu’AlphaStar peut revendiquer une victoire complète. Dave Churchill, chercheur en IA à l’Université Memorial de Terre-Neuve à St John’s, au Canada, pense qu’AlphaStar présente encore un certain nombre de faiblesses, comme une vulnérabilité à des stratégies qu’il n’avait jamais vues auparavant.
« AlphaStar est très impressionnant, et c’est certainement le système d’IA le plus puissant de tous les jeux StarCraft à ce jour, » dit-il. « Cela dit, StarCraft est loin d’être «résolu», et AlphaStar n’est même pas encore près de jouer au niveau champion du monde. »
