Introduction à un nouvel usage de l'ordinateur, une version améliorée de "Claude 3.5 Sonnet" et un nouveau "Claude 3.5 Haïku"
infohightech ·
Claude 3.5 Sonnet amélioré offre des améliorations globales par rapport à son prédécesseur, avec des gains particulièrement significatifs en matière de codage, un domaine dans lequel il était déjà leader. Quant à Claude 3.5 Haiku, il égale les performances du Claude 3 Opus, le plus grand modèle précédent, sur de nombreuses évaluations pour le même coût et une vitesse similaire à celle de la génération précédente de Haiku.
L’entreprise lance également une nouvelle fonctionnalité révolutionnaire dans la version bêta publique : l'utilisation de l'ordinateur . Disponible dès aujourd'hui sur l'API , les développeurs peuvent demander à Claude d'utiliser les ordinateurs comme le font les gens : en regardant un écran, en déplaçant un curseur, en cliquant sur des boutons et en saisissant du texte. Claude 3.5 Sonnet est le premier modèle d'IA de pointe à proposer l'utilisation de l'ordinateur dans la version bêta publique.
À ce stade, il est encore expérimental , parfois fastidieux et sujet aux erreurs. « Nous publions l'utilisation de l'ordinateur en avance pour recueillir les commentaires des développeurs et nous nous attendons à ce que la capacité s'améliore rapidement au fil du temps. »
Asana, Canva, Cognition, DoorDash, Replit et The Browser Company ont déjà commencé à explorer ces possibilités, en effectuant des tâches qui nécessitent des dizaines, voire des centaines d'étapes. Par exemple, Replit utilise les capacités de Claude 3.5 Sonnet en matière d'utilisation de l'ordinateur et de navigation dans l'interface utilisateur pour développer une fonctionnalité clé qui évalue les applications au fur et à mesure de leur création pour son produit Replit Agent.
La version améliorée de Claude 3.5 Sonnet est désormais disponible pour tous les utilisateurs. À partir d'aujourd'hui, les développeurs peuvent créer avec l'ordinateur une version bêta sur l'API Anthropic, Amazon Bedrock et Vertex AI de Google Cloud. Le nouveau Claude 3.5 Haiku sortira plus tard ce mois-ci.
Claude 3.5 Sonnet : Compétences de pointe en ingénierie logicielle
La version Claude 3.5 Sonnet mise à jour présente de nombreuses améliorations par rapport aux références du secteur, avec des gains particulièrement importants dans les tâches de codage et d'utilisation d'outils. En ce qui concerne le codage, elle améliore les performances sur SWE-bench Verified de 33,4 % à 49,0 %, soit un score supérieur à tous les modèles disponibles au public, y compris les modèles de raisonnement comme OpenAI o1-preview et les systèmes spécialisés conçus pour le codage agentique.
Elle améliore également les performances sur TAU-bench , une tâche d'utilisation d'outils agentiques, de 62,6 % à 69,2 % dans le domaine de la vente au détail, et de 36,0 % à 46,0 % dans le domaine plus difficile des compagnies aériennes. La nouvelle version Claude 3.5 Sonnet offre ces avancées au même prix et à la même vitesse que son prédécesseur.
Les premiers retours des clients suggèrent que la version améliorée de Claude 3.5 Sonnet représente une avancée significative pour le codage basé sur l'IA. GitLab, qui a testé le modèle pour les tâches DevSecOps, a constaté qu'il offrait un raisonnement plus fort (jusqu'à 10 % dans tous les cas d'utilisation) sans latence supplémentaire, ce qui en fait un choix idéal pour alimenter les processus de développement logiciel en plusieurs étapes.
Cognition utilise le nouveau Claude 3.5 Sonnet pour les évaluations d'IA autonomes et a constaté des améliorations substantielles en termes de codage, de planification et de résolution de problèmes par rapport à la version précédente. The Browser Company, en utilisant le modèle pour automatiser les flux de travail basés sur le Web, a noté que Claude 3.5 Sonnet surpassait tous les modèles qu'elle avait testés auparavant.
Dans le cadre d’efforts continus de partenariat avec des experts externes, des tests conjoints de pré-déploiement du nouveau modèle Claude 3.5 Sonnet ont été menés par l'US AI Safety Institute (US AISI) et le UK Safety Institute (UK AISI).
Anthropic a avons également évalué le Sonnet Claude 3.5 mis à niveau pour les risques catastrophiques et avons constaté que la norme ASL-2, telle que décrite dans sa politique de mise à l'échelle responsable , reste appropriée pour ce modèle.
Claude 3.5 Haiku : la rencontre entre la technologie de pointe et l'accessibilité et la rapidité
Claude 3.5 Haiku est la nouvelle génération de notre modèle le plus rapide. Pour le même coût et une vitesse similaire à Claude 3 Haiku, Claude 3.5 Haiku améliore tous les domaines de compétences et surpasse même Claude 3 Opus, le plus grand modèle de notre génération précédente, sur de nombreux tests de renseignement. Claude 3.5 Haiku est particulièrement performant dans les tâches de codage. Par exemple, il obtient un score de 40,6 % sur SWE-bench Verified, surpassant de nombreux agents utilisant des modèles de pointe disponibles au public, notamment le Claude 3.5 Sonnet et le GPT-4o d'origine.
Avec une faible latence, un suivi des instructions amélioré et une utilisation plus précise des outils, Claude 3.5 Haiku est parfaitement adapté aux produits destinés aux utilisateurs, aux tâches de sous-agents spécialisées et à la génération d'expériences personnalisées à partir d'énormes volumes de données, comme l'historique des achats, les prix ou les enregistrements d'inventaire.
Claude 3.5 Haiku sera disponible plus tard ce mois-ci sur notre API propriétaire, Amazon Bedrock et Vertex AI de Google Cloud, initialement sous forme de modèle texte uniquement et avec une entrée d'image à suivre.
Apprendre à Claude à utiliser un ordinateur de façon responsable
Avec l'utilisation de l'ordinateur, l’entreprise essaie quelque chose de fondamentalement nouveau. Au lieu de créer des outils spécifiques pour aider Claude à accomplir des tâches individuelles, « nous lui enseignons des compétences informatiques générales , lui permettant d'utiliser une large gamme d'outils et de logiciels standard conçus pour les personnes. Les développeurs peuvent utiliser cette capacité naissante pour automatiser des processus répétitifs, créer et tester des logiciels et effectuer des tâches ouvertes comme la recherche. »
Pour rendre ces compétences générales possibles, il a été créé une API qui permet à Claude de percevoir et d'interagir avec les interfaces informatiques. Les développeurs peuvent intégrer cette API pour permettre à Claude de traduire des instructions (par exemple, « utiliser les données de mon ordinateur et en ligne pour remplir ce formulaire ») en commandes informatiques (par exemple, consulter une feuille de calcul, déplacer le curseur pour ouvrir un navigateur Web, naviguer vers les pages Web pertinentes, remplir un formulaire avec les données de ces pages, etc.).
Sur OSWorld , qui évalue la capacité des modèles d'IA à utiliser les ordinateurs comme le font les gens, Claude 3.5 Sonnet a obtenu un score de 14,9 % dans la catégorie capture d'écran uniquement, ce qui est nettement mieux que le score de 7,8 % du deuxième meilleur système d'IA. Lorsqu'on lui a accordé plus d'étapes pour terminer la tâche, Claude a obtenu un score de 22,0 %.
Bien qu’Anthropic s’attende à ce que cette capacité s'améliore rapidement dans les mois à venir, la capacité actuelle de Claude à utiliser les ordinateurs est imparfaite. Certaines actions que les gens effectuent sans effort (défilement, glissement, zoom) présentent actuellement des défis pour Claude et la société encourage les développeurs à commencer l'exploration avec des tâches à faible risque.
Étant donné que l'utilisation de l'ordinateur peut fournir un nouveau vecteur pour des menaces plus familières telles que le spam, la désinformation ou la fraude, une approche proactive a été adoptée pour promouvoir son déploiement en toute sécurité. De nouveaux classificateurs ont été développés afin qu’ils puissent peuvent identifier quand l'utilisation de l'ordinateur est utilisée et si des dommages se produisent. Vous pouvez en savoir plus sur le processus de recherche à l'origine de cette nouvelle compétence, ainsi que sur une discussion plus approfondie des mesures de sécurité, dans notre article sur le développement de l'utilisation de l'ordinateur .
Regard vers l'avenir
Les enseignements tirés des premiers déploiements de cette technologie, qui en est encore à ses débuts, nous aideront à mieux comprendre le potentiel et les implications de systèmes d’IA de plus en plus performants.
De nouveaux modèles sont à découvrir tout comme la version bêta publique de l'utilisation de l'ordinateur