Google DeepMind façonne l’avenir de l’interaction avec l’IA en réinventant le pointeur de souris
infohightech ·
Le pointeur de souris est un compagnon constant sur les écrans d'ordinateur, présent sur tous les sites web, dans tous les documents et pour tous les flux de travail. Malgré l'évolution des technologies, le pointeur a à peine changé en plus d'un demi-siècle.
Nous avons exploré de nouvelles fonctionnalités basées sur l'IA pour aider le pointeur à comprendre non seulement ce qu'il pointe, mais aussi pourquoi c'est important pour l'utilisateur.
Notre objectif est de remédier à une frustration courante : les outils d’IA classiques fonctionnant dans leur propre fenêtre, les utilisateurs doivent y importer leur environnement. Nous souhaitons l’inverse : une IA intuitive qui s’intègre à tous les outils utilisés par les utilisateurs, sans interrompre leur flux de travail. Imaginez par exemple pointer l’image d’un bâtiment et demander « Itinéraire ». Le système d’IA comprend déjà le contexte, ce qui est inutile.
Aujourd'hui, nous présentons les principes fondamentaux qui guident notre réflexion sur les futures interfaces utilisateur et partageons des démonstrations expérimentales d'un pointeur doté d'intelligence artificielle, développé avec Gemini. Par exemple, vous pourriez utiliser Google AI Studio pour modifier une image ou trouver des lieux sur une carte , simplement en pointant du doigt et en parlant.
Cette vidéo présente l'environnement expérimental de notre pointeur doté d'intelligence artificielle. Les séquences sont raccourcies.
Nos principes d'interaction
Nous avons élaboré quatre principes qui, ensemble, transfèrent la tâche complexe de transmettre le contexte et l'intention de l'utilisateur à l'ordinateur, remplaçant ainsi les messages textuels complexes par des interactions plus simples et intuitives. Voici des illustrations de notre approche et de nos principes.
Maintenir le flux
Les fonctionnalités d'IA doivent être intégrées à toutes les applications, sans contraindre les utilisateurs à des détours inutiles. Notre prototype de pointeur intelligent est accessible quel que soit l'endroit où l'utilisateur travaille. Par exemple, il peut pointer un PDF et obtenir un résumé sous forme de liste à puces à coller directement dans un e-mail, survoler un tableau de statistiques pour afficher un graphique circulaire, ou encore sélectionner une recette et demander que tous les ingrédients soient doublés.
Montrer et raconter
Les modèles d'IA actuels exigent des instructions précises. Pour obtenir une réponse pertinente, l'utilisateur doit fournir une requête détaillée. Un pointeur intelligent simplifierait ce processus en capturant avec fluidité le contexte visuel et sémantique autour du pointeur, permettant ainsi à l'ordinateur de « voir » et de comprendre ce qui est important pour l'utilisateur. Dans notre système expérimental, il suffit de pointer du doigt : l'IA sait précisément quel mot, paragraphe, partie d'image ou bloc de code l'utilisateur a besoin d'aide.
Apprivoisez le pouvoir de « Ceci » et de « Cela »
Dans nos interactions quotidiennes, nous utilisons rarement de longs paragraphes détaillés. Nous disons plutôt : « Répare ça », « Déplace ça ici » ou « Que signifie ceci ? », en nous appuyant sur les gestes et le contexte partagé pour nous comprendre. Un système d’IA capable de comprendre cette combinaison de contexte, de désignation et de parole permettrait aux utilisateurs de formuler des demandes complexes de manière naturelle et concise, sans avoir besoin de longues explications.
Transformer les pixels en entités exploitables
Pendant des décennies, les ordinateurs se sont contentés de suivre la direction de notre regard. L'IA peut désormais comprendre ce que l'utilisateur désigne. Les pixels se transforment ainsi en entités structurées, comme des lieux, des dates et des objets, avec lesquelles l'utilisateur peut interagir instantanément. La photo d'une note griffonnée devient une liste de tâches interactive ; une image extraite d'une vidéo de voyage se transforme en lien de réservation pour ce restaurant qui a l'air sympa.
Concevoir des technologies qui s'adaptent au comportement humain — plutôt que de forcer les utilisateurs à s'y adapter — permet d'envisager un avenir où la collaboration avec l'IA sera véritablement intuitive, fluide et sans heurt.
Nous sommes ravis que ces concepts centrés sur l'humain soient intégrés aux produits que nous utilisons au quotidien.
L'application de ce travail à nos produits
Nous intégrons actuellement ces principes pour repenser le pointage dans Chrome et notre nouvelle expérience GoogleBooks sur ordinateur portable. Dès aujourd'hui, au lieu de saisir une requête complexe, vous pouvez utiliser votre pointeur pour interroger Gemini dans Chrome sur la partie de la page web qui vous intéresse. Par exemple, vous pouvez sélectionner plusieurs produits sur une page et demander une comparaison, ou indiquer l'endroit où vous souhaitez visualiser un nouveau canapé dans votre salon. De même, nous déploierons prochainement le Pointeur Magique dans Google Livres, permettant aux utilisateurs d'exploiter Gemini du bout des doigts pour une expérience plus intuitive. Compte tenu du grand nombre d'autres applications potentiellement intéressantes, nous continuerons à tester de futurs concepts sur nos plateformes, y compris Disco de Google Labs .
Essayez le pointeur doté d'IA dans Google AI Studio