Pedro avec un système d’essaim dans un casque XR (« réalité étendue »). Photo : Pedro Pablo Lucas Bravo

De nouvelles recherches s’inspirent du règne animal tout en expérimentant de nouvelles façons de créer de la musique à l’aide de l’IA. Avez-vous déjà vu des oiseaux voler dans le ciel en décrivant des motifs changeants et hypnotisants ? Ou des fourmis utiliser leur propre corps pour former un pont vivant que d’autres fourmis peuvent emprunter ?

Dans la nature, des organismes que l’on considère généralement comme simples peuvent résoudre des tâches remarquablement complexes lorsqu’ils agissent de concert. En groupe, ils peuvent, par exemple, parcourir des distances impossibles à atteindre pour un individu seul.

Les chercheurs peuvent reproduire ce type de comportement dans des modèles mathématiques et des algorithmes afin de mieux comprendre les mécanismes de la nature. Mais ces modèles peuvent aussi inspirer de nouveaux types de systèmes d’intelligence artificielle (IA), notamment des systèmes de création musicale.

« Avec l’essor de l’IA ces dernières années, beaucoup s’intéressent à la manière dont les humains et les machines peuvent créer de la musique ensemble. Une façon d’explorer cette question consiste à examiner comment nous, en tant qu’humains, pouvons collaborer avec un ensemble d’agents d’IA », explique Pedro Pablo Lucas Bravo .

Comment les humains et les agents IA peuvent-ils jouer ensemble ?

La soutenance de thèse de Pedro aura lieu le 22 juin. Plus d’informations ici .

Il est doctorant au RITMO, Centre d’études interdisciplinaires sur le rythme, le temps et le mouvement , qui fait partie de l’Université d’Oslo, et s’appuie dans ses recherches sur les connaissances relatives au comportement animal.

Son projet comporte deux parties principales, explique-t-il. « Tout d’abord, j’étudie comment un essaim d’agents d’IA se comporte lorsqu’ils participent à la création musicale. Que font-ils ensemble et comment façonnent-ils la musique ? »

La deuxième partie consiste à étudier comment les humains peuvent collaborer avec ces agents :

« Si nous parvenons à établir une bonne forme de collaboration, je pense que cela pourrait ouvrir des perspectives passionnantes pour la production et l’interprétation musicales. »

Une IA musicale qui ne nécessite pas de big data

Aujourd’hui, l’IA est déjà largement utilisée dans la production musicale, à la fois comme assistant créatif et comme outil pour accélérer les tâches répétitives. Des appareils comme « Suno » permettent aux utilisateurs de générer de la musique, y compris des voix et des instruments, à partir d’instructions textuelles ou audio.

Lorsque les systèmes d’IA génèrent une musique au son réaliste, ils s’appuient généralement sur d’énormes ensembles de données : des millions d’échantillons audio ou plusieurs milliers d’heures de musique.

Travailler avec un essaim d’agents d’IA est différent. Ces systèmes sont construits sur des règles très simples et nécessitent souvent peu de données, voire presque aucune, explique Kyrre Glette, professeur à RITMO et directeur de thèse de Lucas Bravo.

« Cela offre une manière différente de s’exprimer de façon créative. On travaille avec un modèle basé sur des micro-règles, et ensemble, elles créent un système fascinant et dynamique », explique-t-il.

L’idée de base est de partir d’un comportement biologique et de le traduire en un ensemble de règles. Généralement, tous les agents suivent les mêmes règles simples, par exemple celles inspirées des déplacements et de la coordination des fourmis. Mais lorsqu’on réunit de nombreux agents, leurs interactions peuvent donner lieu à des comportements musicaux à la fois imprévisibles et complexes, comme des motifs mélodiques ou harmonieux.

Voici à quoi cela peut ressembler lorsque vous enfilez un casque XR et explorez l’improvisation musicale grâce au système de Pedro. Photo : Pedro Pablo Lucas Bravo

Ajoute une expérience en direct à la génération musicale par IA

Les systèmes dits « essaims », ou systèmes multi-agents, sont déjà utilisés dans des domaines tels que le contrôle de robots et l’animation par ordinateur. Cependant, relativement peu de personnes ont exploré leur potentiel en musique.

Dans le cadre de son doctorat, Lucas Bravo a conçu et adapté des systèmes d’intelligence collective spécifiquement destinés à l’interaction avec des interprètes humains. Il nomme ces systèmes « Systèmes musicaux interactifs avec essaim humain » (HS-IMS), et ils s’appuient sur des recherches antérieures en intelligence collective et en musique informatique.

Il explique que ces systèmes peuvent offrir une expérience « en direct », une co-création entre humains et IA, dans l’improvisation musicale.

« L’essaim produit sa propre musique, et l’utilisateur tente d’utiliser ses capacités interactives pour lui donner une intention différente de son comportement autonome. C’est pourquoi, dans cet essaim interactif, il existe un compromis entre contrôle et autonomie, car l’utilisateur ne maîtrise pas forcément tout ce qui se passe », explique-t-il.

Il utilisait ses mains pour modeler le son.

Cela peut paraître aléatoire, mais Pedro explore ici les possibilités offertes par les différents agents. Photo : Pedro Pablo Lucas Bravo

Pour étudier le comportement des agents, Lucas Bravo travaille dans un environnement dit de « réalité mixte ». Il porte un casque XR (« réalité étendue ») qui lui permet de voir à la fois la pièce physique dans laquelle il se trouve et les agents virtuels.

Les agents apparaissent comme des blocs de construction flottants disposés de différentes manières autour de lui. Il peut utiliser ses mains pour rapprocher ces blocs, les éloigner ou les réorganiser dans l’espace.

De l’extérieur, on dirait qu’il gesticule au hasard. Mais en réalité, il improvise de la musique. En manipulant un agent, il explore les réactions des autres. Comment le son d’ensemble évolue-t-il ? Quelles textures musicales émergent ? Quel contrôle exerce-t-il sur l’essaim ?

Si un tambour lâche, la musique continue.

« Les agents savent à quel groupe ils appartiennent et ils savent qu’ils doivent bouger si l’un des autres est déplacé. Mais nous ne pouvons pas prédire exactement quel sera le résultat », explique Lucas Bravo.

L’un des principaux avantages des systèmes en essaim réside dans leur robustesse. Si un agent — par exemple, un tambour virtuel — tombe en panne ou est retiré, les autres continuent de fonctionner. Le système dans son ensemble reste opérationnel.

Pour l’instant, il utilise ces systèmes pour l’improvisation musicale. À terme, l’objectif est qu’ils puissent également servir d’outils pour explorer des idées musicales et composer de nouvelles pièces, voire même permettre de nouvelles formes de performance en direct.

« Le potentiel de ces systèmes réside dans l’équilibre entre leurs tendances chaotiques et de bons mécanismes de contrôle », explique Lucas Bravo. « Les agents ont un comportement propre, mais si nous parvenons à trouver le juste milieu où les humains exercent un contrôle optimal sur eux, nous pouvons créer des expériences musicales exceptionnelles. »

https://www.uio.no/english/research/research-news/articles/2026/human-ai-jamming.html