Cette agrafeuse sait quand vous en avez besoin et se déplace !!!

Des chercheurs de la CMU utilisent l'IA pour transformer des objets du quotidien en assistants proactifs

Une agrafeuse glisse sur un bureau pour rejoindre une main tendue, ou un couteau s'efface juste avant que quelqu'un ne s'appuie contre un comptoir. Cela ressemble à de la magie, mais à l'Institut d'interaction homme-machine (HCII : Human-Computer Interaction Institute) de l'Université Carnegie Mellon, des chercheurs associent l'IA et la mobilité robotique pour doter les objets du quotidien de ce type de prévoyance.

En utilisant de grands modèles de langage (LLM) et des plateformes robotiques à roues, les chercheurs du HCII ont transformé des objets ordinaires — comme des tasses, des assiettes ou des ustensiles — en assistants proactifs capables d’observer le comportement humain, de prédire les interventions et de se déplacer sur des surfaces horizontales pour aider les humains au bon moment.

« Notre objectif est de créer des systèmes adaptatifs pour l'interaction physique, discrets, c'est-à-dire qui s'intègrent à notre quotidien tout en s'adaptant dynamiquement à nos besoins », explique Alexandra Ion , maître de conférences en HCII et responsable du laboratoire de structures interactives . « Nous qualifions ce travail de discret, car l'utilisateur ne demande aucune tâche aux objets. Au contraire, les objets perçoivent ses besoins et exécutent les tâches eux-mêmes. »

Le système discret de l’Interactive Structures Lab (Laboratoire de Structures Interactives) utilise la vision par ordinateur et les LLM pour analyser les objectifs d'une personne et prédire ses prochaines actions ou besoins. Une caméra fixée au plafond détecte l'environnement et suit la position des objets.

Le système traduit ensuite ce que la caméra voit en une description textuelle de la scène. Un LLM utilise ensuite cette traduction pour déduire les objectifs de la personne et les actions les plus utiles. Enfin, le système transfère les actions prédites à l'objet. Ce processus permet une assistance fluide pour les tâches quotidiennes comme la cuisine, le rangement, le travail de bureau, etc.

 « L'IA nous aide beaucoup dans le domaine numérique, mais nous souhaitons nous concentrer sur son assistance dans le domaine physique », a déclaré Violet Han , doctorante en HCII travaillant avec Ion. « Nous avons choisi d'améliorer les objets du quotidien car les utilisateurs leur font déjà confiance. En améliorant leurs capacités, nous espérons renforcer cette confiance. »

Alexandra Ion et son équipe ont commencé à étudier des moyens d’étendre la portée de l’IA physique discrète à d’autres parties des maisons et des bureaux.

« Imaginez, par exemple, que vous rentriez chez vous avec un sac de courses. Une étagère se déplie automatiquement du mur et vous pouvez poser le sac pendant que vous enlevez votre manteau », a expliqué Ion lors de son épisode du podcast « Does Compute » de l'École d'informatique. « L'idée est de développer et d'étudier une technologie qui s'intègre parfaitement à notre quotidien et qui est si bien assimilée qu'elle devient presque invisible, tout en nous apportant constamment de nouvelles fonctionnalités. »

Le laboratoire de structures interactives vise à créer des interfaces physiques intuitives offrant une assistance physique sûre et fiable aux domiciles, hôpitaux, usines et autres espaces. Les travaux de l'équipe sur l'IA physique discrète ont été retenus lors du Symposium 2025 de l'ACM sur les logiciels et technologies d'interface utilisateur , qui s'est tenu récemment à Busan, en Corée.

https://www.hcii.cmu.edu/news/stapler-knows-when-you-need-it