Un algorithme d’apprentissage automatique (Machine Learning) a démontré sa capacité à traiter des données dépassant la mémoire disponible d’un ordinateur en identifiant les caractéristiques clés d’un ensemble de données massives et en les divisant en lots gérables qui n’étouffent pas le matériel informatique.
Développé au laboratoire national de Los Alamos, l’algorithme a établi un record mondial pour la factorisation d’énormes ensembles de données lors d’un essai sur le Summit du laboratoire national d’Oak Ridge, le cinquième superordinateur le plus rapide au monde.
Aussi efficace sur les ordinateurs portables que sur les superordinateurs, l’algorithme hautement évolutif résout les goulets d’étranglement matériels qui empêchent le traitement des informations provenant d’applications riches en données dans les domaines de la recherche sur le cancer, de l’imagerie satellitaire, des réseaux de médias sociaux, de la sécurité nationale et de la recherche sur les tremblements de terre, pour n’en citer que quelques-uns.
Lors de l’exécution record de l’équipe de Los Alamos, l’algorithme a traité une matrice dense de 340 téraoctets et une matrice éparse de 11 exaoctets, à l’aide de 25 000 GPU.
« Nous avons mis au point une implémentation « hors mémoire » de la méthode de factorisation des matrices non négatives qui permet de factoriser des ensembles de données plus importants que ce qui était possible auparavant sur un matériel donné », explique Ismael Boureima, physicien informaticien au Laboratoire national de Los Alamos.
Il est le premier auteur de l’article publié dans The Journal of Supercomputing sur l’algorithme record.
« Notre implémentation décompose simplement les données volumineuses en unités plus petites qui peuvent être traitées avec les ressources disponibles. Il s’agit donc d’un outil utile pour gérer des ensembles de données en croissance exponentielle ».
« L’analyse traditionnelle des données exige que les données s’inscrivent dans des contraintes de mémoire. Notre approche remet en question cette notion », a déclaré Manish Bhattarai, scientifique spécialiste de l’apprentissage automatique à Los Alamos et coauteur de l’article.
« Nous avons introduit une solution hors mémoire. Lorsque le volume de données dépasse la mémoire disponible, notre algorithme les divise en segments plus petits. Il traite ces segments un par un, en les faisant entrer et sortir de la mémoire. Cette technique nous donne la capacité unique de gérer et d’analyser efficacement des ensembles de données extrêmement volumineux ».
L’algorithme distribué pour les systèmes informatiques modernes et hétérogènes à haute performance peut être utile sur du matériel aussi petit qu’un ordinateur de bureau, ou aussi grand et complexe que les supercalculateurs Chicoma, Summit ou le futur Venado, a déclaré Manish Boureima.
« La question n’est plus de savoir s’il est possible de factoriser une matrice plus grande, mais plutôt de savoir combien de temps la factorisation va prendre », précise Manish Boureima.
L’implémentation de Los Alamos tire parti de caractéristiques matérielles telles que les GPU pour accélérer les calculs et les interconnexions rapides pour déplacer efficacement les données entre les ordinateurs. Dans le même temps, l’algorithme permet d’effectuer plusieurs tâches simultanément.
La factorisation de matrices non négatives est un autre exemple d’algorithme haute performance développé dans le cadre du projet SmartTensors à Los Alamos.
Dans l’apprentissage automatique, la factorisation matricielle non négative peut être utilisée comme une forme d’apprentissage non supervisé pour tirer un sens des données, souligne Manish Boureima. « C’est très important pour l’apprentissage automatique et l’analyse des données, car l’algorithme peut identifier des caractéristiques latentes explicables dans les données qui ont une signification particulière pour l’utilisateur.
La course au record
Lors de l’exécution record de l’équipe de Los Alamos, l’algorithme a traité une matrice dense de 340 téraoctets et une matrice éparse de 11 exaoctets, à l’aide de 25 000 GPU.
« Nous atteignons la factorisation en exaoctets, ce que personne d’autre n’a fait à notre connaissance », souligne Boian Alexandrov, coauteur du nouvel article et physicien théoricien à Los Alamos, qui a dirigé l’équipe ayant développé la plateforme d’intelligence artificielle SmartTensors.
La décomposition ou la factorisation des données est une technique spécialisée d’exploration des données visant à extraire les informations pertinentes, en simplifiant les données dans des formats compréhensibles.
Manish Bhattarai a également souligné l’évolutivité de son algorithme : « En revanche, les méthodes conventionnelles sont souvent confrontées à des goulets d’étranglement, principalement dus au décalage dans le transfert des données entre les processeurs d’un ordinateur et sa mémoire ».
« Nous avons également montré qu’il n’est pas nécessaire d’avoir de gros ordinateurs », a ajouté M. Boureima. « La mise à l’échelle de 25 000 GPU est une bonne chose si vous pouvez vous le permettre, mais notre algorithme sera utile sur des ordinateurs de bureau pour des choses que vous ne pouviez pas traiter auparavant. »
https://www.miragenews.com/machine-learning-masters-massive-data-sets-at-1081824/
