Google dévoile le projet Mariner : des agents IA qui utilisent le Web à votre place

Google a dévoilé mercredi son tout premier agent d'intelligence artificielle capable d'effectuer des actions sur le Web, un prototype de recherche issu de la division DeepMind de l'entreprise appelé Project Mariner. L'agent basé sur Gemini prend le contrôle de votre navigateur Chrome, déplace le curseur sur votre écran, clique sur des boutons et remplit des formulaires, ce qui lui permet d'utiliser et de naviguer sur des sites Web comme le ferait un humain.

L'entreprise commence par publier son agent d'IA auprès d'un petit groupe de testeurs présélectionnés mercredi, indique Google.

Google continue d’expérimenter de nouvelles façons pour Gemini de lire, de résumer et désormais d’utiliser des sites Web. Un dirigeant de Google a déclaré que cela faisait partie d’un « changement de paradigme UX fondamentalement nouveau » : les utilisateurs n’interagissent plus directement avec les sites Web, mais avec un système d’IA génératif qui le fait pour vous.

Un premier aperçu du projet Mariner. Crédits image : Google

Ces changements pourraient affecter des millions d’entreprises — des éditeurs aux détaillants comme Walmart — qui ont historiquement compté sur Google pour envoyer de vraies personnes visiter et utiliser leurs sites Web.

Dans une démonstration, la directrice de Google Labs, Jaclyn Konzelmann, a montré comment fonctionne Project Mariner.

Après avoir configuré l'agent IA avec une extension dans Chrome, une fenêtre de discussion apparaît à droite de votre navigateur. Vous pouvez demander à l'agent d'effectuer des opérations telles que « créer un panier d'achat à partir d'une épicerie en fonction de cette liste ».

Voici à quoi ressemble Project Mariner lorsqu'il est utilisé. Crédits image : Google

À partir de là, l'agent IA a accédé au site Web d'une épicerie (dans ce cas, Safeway), puis a recherché et ajouté des articles à un panier virtuel. Une chose qui saute immédiatement aux yeux est la lenteur de l'agent : il y avait environ 5 secondes de retard entre chaque mouvement du curseur. Parfois, l'agent arrêtait sa tâche et revenait à la fenêtre de discussion, demandant des éclaircissements sur certains éléments (combien de carottes, etc.).

L'agent de Google ne peut pas effectuer de paiement, car il n'est pas censé renseigner les numéros de carte de crédit ou les informations de facturation. Project Mariner n'accepte pas non plus les cookies pour les utilisateurs ni ne signe un accord de conditions de service. Google affirme qu'il n'autorise pas volontairement l'agent à faire ces choses, afin de donner aux utilisateurs plus de contrôle.

En coulisses, l'agent de Google prend des captures d'écran de la fenêtre de votre navigateur, ce que les utilisateurs doivent accepter dans les conditions d'utilisation, et les envoie à Gemini dans le cloud pour traitement. Gemini renvoie ensuite des instructions à votre ordinateur pour naviguer sur la page Web.

Project Mariner peut également être utilisé pour rechercher des vols et des hôtels, acheter des articles ménagers, trouver des recettes et d'autres tâches qui nécessitent actuellement que les utilisateurs cliquent sur le Web.

Le principal inconvénient est que Project Mariner ne fonctionne que sur l'onglet actif le plus en avant du navigateur Chrome, ce qui signifie que vous ne pouvez pas utiliser votre ordinateur pour d'autres choses pendant que l'agent fonctionne en arrière-plan. Vous devez regarder Gemini cliquer lentement. Le directeur technique de Google DeepMind, Koray Kavukcuoglu, explique qu'il s'agit d'une décision très intentionnelle afin que les utilisateurs sachent ce que fait l'agent IA de Google.

« Étant donné que [Gemini] prend désormais des mesures au nom d'un utilisateur, il est important de procéder étape par étape », a déclaré Koray  Kavukcuoglu. « C'est complémentaire. En tant qu'individu, vous pouvez utiliser des sites Web, et maintenant votre agent peut également faire tout ce que vous faites sur un site Web. »

Les propriétaires de sites Web seront peut-être soulagés d'apprendre que l'agent IA de Google fonctionne sur l'écran de votre ordinateur, car cela signifie que les éditeurs et les détaillants continuent d'attirer votre attention sur leurs pages. Cependant, l'agent IA de Google pourrait signifier que les utilisateurs sont moins engagés avec les sites Web qu'ils visitent et, un jour, il se pourrait que les utilisateurs n'aient plus besoin d'utiliser ces sites Web du tout.

« [Le projet Mariner] est un changement de paradigme UX fondamentalement nouveau auquel nous assistons actuellement », précise Koray Konzelmann. « Nous devons déterminer la bonne façon de procéder pour que tout cela change la façon dont les utilisateurs interagissent avec le Web et la façon dont les éditeurs peuvent créer des expériences pour les utilisateurs, ainsi que pour les agents, à l'avenir. »

Outre le projet Mariner, Google a également dévoilé mercredi plusieurs autres agents d'IA pour des tâches plus spécifiques.

Un agent d'IA, Deep Research, vise à aider les utilisateurs à explorer des sujets complexes en créant des plans de recherche en plusieurs étapes. Il semble concurrencer o1 d'OpenAI, qui peut également effectuer un raisonnement en plusieurs étapes. Cependant, un porte-parole de Google note que l'agent n'est pas conçu pour résoudre des problèmes de raisonnement mathématique et logique, écrire du code ou effectuer des analyses de données. L'agent d'IA est déployé dans Gemini Advanced aujourd'hui et arrivera dans l'application Gemini en 2025.

Lorsqu'une question complexe ou complexe est posée, Deep Research crée un plan d'action en plusieurs étapes pour y répondre. Une fois que l'utilisateur a approuvé le plan, Deep Research prend quelques minutes pour répondre à la question et effectuer une recherche sur le Web, puis génère un long rapport sur ses résultats.

Jules, un autre nouvel agent d'IA de Google, vise à aider les développeurs dans leurs tâches de codage. Il s'intègre directement dans les workflows GitHub, permettant à Jules de visualiser votre travail existant et d'apporter des modifications directement dans GitHub. Jules est déployé aujourd'hui auprès d'un groupe restreint de testeurs bêta et sera disponible plus tard en 2025.

Enfin, Google DeepMind affirme travailler sur un agent IA qui vous aidera à naviguer dans les jeux vidéo, s'appuyant sur sa longue expérience dans la création d'IA de jeu. Google travaille avec des développeurs de jeux, comme Supercell, pour tester la capacité de Gemini à interpréter des univers de jeu tels que Clash of Clans. Google n'a pas donné de date de sortie pour ce prototype, mais affirme que ce travail les aide à créer des agents IA qui aident à naviguer dans des mondes physiques, ainsi que virtuels.

On ne sait pas encore quand le projet Mariner sera déployé auprès de la vaste base d'utilisateurs de Google, mais quand ce sera le cas, ces agents auront un impact significatif sur le Web au sens large. Le Web est conçu pour être utilisé par les humains, mais les agents IA de Google pourraient changer cette norme.

https://blog.google/technology/google-deepmind/google-gemini-ai-update-december-2024/#ceo-message

https://techcrunch.com/2024/12/11/google-unveils-project-mariner-ai-agents-to-use-the-web-for-you/