Grâce à un modèle d’IA formé sur des vidéos de chirurgie, un système robotique a réussi à réaliser des tâches chirurgicales difficiles aussi habilement qu’un humain

Il faut des années d’études intensives et une main sûre aux humains pour pratiquer une intervention chirurgicale, mais les robots pourraient avoir plus de facilité à le faire grâce à la technologie d’IA actuelle.

Des chercheurs de l’Université Johns Hopkins (JHU) et de l’Université de Stanford ont appris à un système chirurgical robotisé à effectuer un ensemble de tâches chirurgicales aussi efficacement que des médecins humains, simplement en le formant sur des vidéos de ces procédures.

Pour cette étude, l’équipe a utilisé un système chirurgical Da Vinci . Il s’agit d’un système robotisé généralement contrôlé à distance par un chirurgien dont les bras manipulent les instruments pour des tâches telles que la dissection, l’aspiration, la découpe et l’obturation des vaisseaux. Des systèmes comme ceux-ci offrent aux chirurgiens un contrôle et une précision bien supérieurs, ainsi qu’une observation plus précise des patients sur la table d’opération. La dernière version est estimée à plus de 2 millions de dollars , et ce montant n’inclut pas les accessoires, le matériel de stérilisation ou la formation.

Le système chirurgical Da Vinci au travail

À l’aide d’une méthode d’apprentissage automatique appelée apprentissage par imitation , l’équipe a formé un système chirurgical da Vinci à effectuer de manière autonome trois tâches inhérentes aux interventions chirurgicales : manipuler une aiguille, soulever des tissus corporels et suturer. Jetez un œil.

Démonstration du robot chirurgical Transformer

Le système chirurgical a non seulement exécuté ces opérations aussi bien qu’un humain, mais il a également appris à corriger ses propres erreurs. « Par exemple, s’il laisse tomber l’aiguille, il la reprend automatiquement et continue. Ce n’est pas quelque chose que je lui ai appris à faire », a déclaré Axel Krieger, professeur adjoint à la JHU, co-auteur d’un article sur les conclusions de l’équipe, présenté cette semaine à la Conférence sur l’apprentissage robotique.

Les chercheurs ont formé un modèle d’IA en combinant l’apprentissage par imitation avec l’architecture d’apprentissage automatique sur laquelle sont construits les chatbots populaires comme ChatGPT. Cependant, alors que ces chatbots sont conçus pour fonctionner avec du texte, ce modèle génère une cinématique (un langage utilisé pour décrire le mouvement avec des éléments mathématiques comme des nombres et des équations) pour diriger les bras du système chirurgical.

Les systèmes chirurgicaux robotisés impliquent un chirurgien humain pour guider chaque étape, tout en permettant une plus grande précision

Le modèle a été formé à l’aide de centaines de vidéos enregistrées à partir de caméras de poignet placées sur les bras des robots da Vinci lors d’interventions chirurgicales.

L’équipe pense que son modèle pourrait entraîner un robot à effectuer tout type d’intervention chirurgicale rapidement et beaucoup plus facilement que la méthode traditionnelle de codage manuel de chaque étape requise pour diriger les actions d’un robot chirurgical.

Des caméras « poignet » attachées aux bras du système chirurgical robotisé capturent des images pour aider à former le modèle d’IA

Selon Axel Krieger, cela pourrait contribuer à faire de la chirurgie automatisée une réalité plus tôt que nous ne pouvions l’imaginer jusqu’à présent. « Ce qui est nouveau ici, c’est que nous n’avons qu’à collecter des apprentissages par imitation de différentes procédures, et nous pouvons entraîner un robot à les apprendre en quelques jours », a-t-il déclaré. « Cela nous permet d’accélérer notre objectif d’autonomie tout en réduisant les erreurs médicales et en obtenant des interventions chirurgicales plus précises. »

Il s’agit peut-être de l’une des plus grandes avancées de ces dernières années dans le domaine de la chirurgie assistée par robot. Il existe déjà des dispositifs automatisés destinés à être utilisés dans des opérations complexes, comme le système CorPath de Corindus pour les procédures cardiovasculaires . Cependant, leurs capacités sont généralement limitées à certaines étapes des interventions chirurgicales auxquelles ils participent.

Axel Krieger a également souligné que le codage de chaque étape d’un système robotisé peut être extrêmement lent. « Quelqu’un peut passer une décennie à essayer de modéliser la suture », a-t-il déclaré. « Et il s’agit de suturer un seul type de chirurgie. »

Axel Krieger a aussi travaillé auparavant sur une approche différente de l’automatisation des tâches chirurgicales. En 2022, son équipe de chercheurs a développé le Smart Tissue Autonomous Robot , ou STAR, à la JHU. Guidé par un endoscope tridimensionnel basé sur la lumière structurelle et un algorithme de suivi basé sur l’apprentissage automatique, le robot a sutté de manière complexe les deux extrémités de l’intestin d’un porc, sans intervention humaine.

Les chercheurs de la JHU travaillent actuellement à la formation d’un robot avec leur méthode d’apprentissage par imitation pour effectuer une opération chirurgicale complète. Il faudra probablement des années avant de voir les robots prendre le relais des chirurgiens, mais des innovations comme celle-ci pourraient rendre les traitements complexes plus sûrs et plus accessibles aux patients du monde entier.

https://hub.jhu.edu/2024/11/11/surgery-robots-trained-with-videos