OpenAI lance Operator, un agent qui peut utiliser un ordinateur pour vous
infohightech ·
Cette annonce confirme l'une des deux rumeurs qui ont circulé sur Internet cette semaine. L'autre concernait une superintelligence.
Après des semaines de buzz, OpenAI a lancé Operator , son premier agent IA. Operator est une application Web qui permet d'effectuer des tâches simples en ligne dans un navigateur, comme réserver des billets de concert ou remplir une commande d'épicerie en ligne. L'application est alimentée par un nouveau modèle appelé Computer-Using Agent (CUA, pour faire court), construit sur le modèle multimodal à grande échelle de langage GPT-4o d'OpenAI.
Operator est disponible dès aujourd'hui sur operator.chatgpt.com pour les personnes aux États-Unis inscrites à ChatGPT Pro, le service premium d'OpenAI à 200 $ par mois. La société affirme qu'elle prévoit de déployer l'outil auprès d'autres utilisateurs à l'avenir.
OpenAI affirme qu'Operator surpasse les outils concurrents similaires, notamment Computer Use d'Anthropic (une version de Claude 3.5 Sonnet qui peut effectuer des tâches simples sur un ordinateur) et Mariner de Google DeepMind (un agent de navigation Web construit sur Gemini 2.0 ).
Le fait que trois des plus grandes entreprises d'IA au monde aient convergé vers la même vision de ce que pourraient être les modèles basés sur des agents montre clairement une chose : la bataille pour la suprématie de l'IA a une nouvelle frontière : nos écrans d'ordinateur.
« Passer de la génération de textes et d’images à la réalisation de choses concrètes est la bonne direction », déclare Ali Farhadi, PDG de l’Institut Allen pour l’IA (AI2). « Cela permet de débloquer des entreprises et de résoudre de nouveaux problèmes. »
Ali Farhadi pense que faire des choses sur un écran d’ordinateur est une première étape naturelle pour les agents : « C’est suffisamment limité pour que l’état actuel de la technologie puisse réellement fonctionner », dit-il. « En même temps, c’est suffisamment impactant pour que les gens puissent l’utiliser. » (AI2 travaille sur son propre agent utilisant un ordinateur, assure Ali Farhadi.)
Ne croyez pas au battage médiatique
L'annonce d'OpenAI confirme également l'une des deux rumeurs qui ont circulé sur Internet cette semaine. L'une prédisait qu'OpenAI était sur le point de révéler une application basée sur des agents, après que des détails sur Operator aient fuité sur les réseaux sociaux avant sa sortie . L'autre prédisait qu'OpenAI était sur le point de révéler une nouvelle superintelligence - et que les responsables du nouveau président Trump en seraient informés.
Les deux rumeurs pourraient-elles être liées ? Les superfans d'OpenAI ont voulu savoir .
Non. OpenAI a donné hier au MIT Technology Review un aperçu d'Operator en action. L'outil offre un aperçu passionnant du potentiel des grands modèles de langage pour faire bien plus que répondre à des questions. Mais Operator est un travail expérimental en cours. « Il est encore tôt, il fait encore des erreurs », déclare Yash Kumar, chercheur chez OpenAI.
(Quant aux folles rumeurs sur la superintelligence, laissons le PDG d'OpenAI, Sam Altman, les aborder : « Le battage médiatique sur Twitter est à nouveau hors de contrôle », a-t-il posté le 20 janvier. « S'il vous plaît, calmez-vous et réduisez vos attentes de 100x ! »)
À l’instar de Computer Use d’Anthropic et de Mariner de Google DeepMind, Operator prend des captures d’écran d’un écran d’ordinateur et analyse les pixels pour déterminer les actions qu’il peut entreprendre. CUA, le modèle qui le sous-tend, est entraîné à interagir avec les mêmes interfaces utilisateur graphiques (boutons, zones de texte, menus) que celles que les gens utilisent lorsqu’ils font des choses en ligne. Il analyse l’écran, effectue une action, analyse à nouveau l’écran, effectue une autre action, et ainsi de suite. Cela permet au modèle d’effectuer des tâches sur la plupart des sites Web qu’une personne peut utiliser.
« Traditionnellement, les modèles utilisent les logiciels via des API spécialisées », explique Reiichiro Nakano, scientifique chez OpenAI. (Une API, ou interface de programmation d’application, est un morceau de code qui agit comme une sorte de connecteur, permettant de connecter différents éléments de logiciel les uns aux autres.) Cela rend de nombreuses applications et la plupart des sites Web inaccessibles, explique-t-il : « Mais si vous créez un modèle qui peut utiliser la même interface que celle que les humains utilisent au quotidien, cela ouvre toute une nouvelle gamme de logiciels qui étaient auparavant inaccessibles. »
CUA décompose également les tâches en étapes plus petites et essaie de les traiter une par une, en revenant en arrière lorsqu'il se retrouve bloqué. OpenAI indique que CUA a été formé avec des techniques similaires à celles utilisées pour ses modèles dits de raisonnement , o1 et o3.
Operator peut être chargé de rechercher des emplacements de camping à Yosemite avec de bonnes tables de pique-nique.
OpenAI a testé CUA par rapport à un certain nombre de critères de référence du secteur conçus pour évaluer la capacité d'un agent à effectuer des tâches sur un ordinateur. L'entreprise affirme que son modèle surpasse Computer Use et Mariner dans tous ces domaines.
Par exemple, sur OSWorld, qui teste la performance d'un agent dans des tâches telles que la fusion de fichiers PDF ou la manipulation d'une image, CUA obtient un score de 38,1 % contre 22,0 % pour Computer Use. En comparaison, les humains obtiennent un score de 72,4 %. Sur un benchmark appelé WebVoyager, qui teste la performance d'un agent dans un navigateur, CUA obtient un score de 87 %, Mariner de 83,5 % et Computer Use de 56 %. (Mariner ne peut effectuer des tâches que dans un navigateur et n'obtient donc pas de score sur OSWorld.)
Pour l'instant, Operator ne peut effectuer des tâches que dans un navigateur. OpenAI prévoit de rendre les capacités étendues de CUA disponibles à l'avenir via une API que d'autres développeurs pourront utiliser pour créer leurs propres applications. C'est ainsi qu'Anthropic a lancé Computer Use en décembre.
OpenAI affirme avoir testé la sécurité de CUA en utilisant des équipes rouges (1) pour étudier ce qui se passe lorsque les utilisateurs lui demandent d'effectuer des tâches inacceptables (comme rechercher comment fabriquer une arme biologique), lorsque les sites Web contiennent des instructions cachées conçues pour le faire dérailler et lorsque le modèle lui-même tombe en panne. « Nous avons entraîné le modèle à s'arrêter et à demander des informations à l'utilisateur avant de faire quoi que ce soit avec des effets secondaires externes », explique Casey Chu, un autre chercheur de l'équipe.
- L'IA red teaming consiste à simuler des scénarios d'attaque sur une application d'intelligence artificielle pour identifier les faiblesses et planifier des mesures préventives. Ce processus permet de sécuriser le modèle d'IA contre un éventail de tactiques d'infiltration possibles et de problèmes de fonctionnalité.
Regarde ! Pas les mains
Pour utiliser Operator, il vous suffit de saisir des instructions dans une zone de texte. Mais au lieu d'appeler le navigateur de votre ordinateur, Operator envoie vos instructions à un navigateur distant exécuté sur un serveur OpenAI. OpenAI affirme que cela rend le système plus efficace. C'est une autre différence clé entre Operator, Computer Use et Mariner (qui s'exécute dans le navigateur Chrome de Google sur votre propre ordinateur).
Comme l'application fonctionne dans le cloud, Operator peut effectuer plusieurs tâches à la fois, explique Kumar. Lors de la démonstration en direct, il a demandé à Operator d'utiliser OpenTable pour lui réserver une table pour deux à 18h30 dans un restaurant appelé Octavia à San Francisco. Operator a immédiatement appelé le site Web d'OpenTable et a commencé à cliquer sur les options. « Comme vous pouvez le voir, je n'ai plus les mains sur le clavier », a déclaré Kumar.
OpenAI collabore avec un certain nombre d'entreprises, dont OpenTable, StubHub, Instacart, DoorDash et Uber. La nature de ces collaborations n'est pas exactement claire, mais Operator semble suggérer des sites Web prédéfinis à utiliser pour certaines tâches.
Pendant que l'outil parcourait les menus déroulants d'OpenTable, Kumar a envoyé Operator chercher quatre billets pour un spectacle de Kendrick Lamar sur StubHub. Pendant ce temps, il a collé une photo d'une liste de courses manuscrite et a demandé à Operator d'ajouter les articles à son Instacart.
Il attendit, feuilletant les onglets d'Operator. « S'il a besoin d'aide ou de confirmations, il vous répondra avec des questions auxquelles vous pourrez répondre », a-t-il déclaré.
Yash Kumar dit qu'il utilise Operator à la maison. Cela lui permet de gérer ses courses : « Je peux simplement cliquer rapidement sur une photo d'une liste et la mettre en marche », dit-il.
C'est aussi devenu un outil de travail dans sa vie personnelle. « J'ai un rendez-vous galant tous les jeudis », explique Yash Kumar. Ainsi, chaque jeudi matin, il demande à Operator de lui envoyer une liste de cinq restaurants qui ont une table pour deux ce soir-là. « Bien sûr, je pourrais le faire, mais cela me prend 10 minutes », dit-il. « Et j'oublie souvent de le faire. Avec Operator, je peux exécuter cette tâche en un seul clic. Je n'ai plus à me soucier de réserver. »