Skip to main content

7 Déc, 2023

Google présente l’IA « Gemini » et déclare qu’elle bat GPT-4

Google présente l’IA « Gemini » et déclare qu’elle bat GPT-4

Google a beaucoup à prouver.

Google a officiellement présenté son très attendu modèle d’IA, Gemini, qui, selon lui, est plus puissant que le grand modèle de langage (LLM) GPT-4 d’OpenAI, affirmant qu’il peut rivaliser avec les humains de « niveau expert » dans un test d’intelligence.

Le modèle, que le PDG Sundar Pichai a dévoilé pour la première fois lors de la conférence I/O de la société en mai, sera disponible en trois versions : Nano, Pro et Ultra, Ultra étant la plus performante et celle qui peut prétendument devancer GPT-4.

Une « version affinée de Gemini Pro » a déjà été intégrée au chatbot Bard de Google, selon un article de blog officiel . Ultra fait encore l’objet de « contrôles approfondis de confiance et de sécurité » et de « réglages précis », mais sera finalement intégré à Bard également « au début de l’année prochaine ».

Mais au-delà de quelques simples démonstrations vidéo partagées par la société aujourd’hui, c’est plus ou moins tout ce que nous savons sur la dernière IA de Google. Nous ne savons pas, par exemple, combien de paramètres elle possède ni sur quelles données elle a été formée, ce qui rend impossible une comparaison précise de pommes avec des pommes avec des modèles d’IA concurrents.

Sans parler de l’absence flagrante d’une référence standard communément acceptée par l’industrie pour mesurer l’intelligence de tout modèle d’IA.

Fondamentalement, nous avons entendu des bruits marketing – et maintenant l’entreprise a beaucoup à prouver.

Gemini est « nativement multimodal », ce qui signifie qu’il peut « combiner différents types d’informations, notamment du texte, du code, de l’audio, des images et des vidéos », selon le blog.

Dans une série de vidéos , Google a montré les capacités de Gemini. Une vidéo montre un programme identifiant correctement le dessin d’un canard bleu. Une vidéo distincte montre l’IA lisant les réponses d’un élève à des questions de mathématiques et expliquant pourquoi l’élève avait raison ou tort.

Mais comment se compare-t-il réellement au GPT-4 concurrent d’OpenAI ?

Dans son annonce d’aujourd’hui, l’entreprise affirme que son modèle Gemini Ultra a obtenu un score de 90 % au test MMLU (massive multitask language understanding ou compréhension massive du langage multitâche), qui « utilise une combinaison de 57 sujets tels que les mathématiques, la physique, l’histoire, le droit, la médecine et l’éthique pour tester à la fois la connaissance du monde et les capacités de résolution de problèmes ».

Cela en fait « le premier modèle à surpasser les experts humains » au test. Les humains de « niveau expert » n’obtiennent qu’un score de 89,8 pour cent.

GPT-4 n’a obtenu que 86,4 % au test, selon Google. Cependant, le modèle Gemini Pro de milieu de gamme, intégré au chatbot Bard de Google, n’a notamment pu battre GPT-3.5 que  dans le même test.

En d’autres termes, la course reste extrêmement serrée, d’après les données publiées par Google aujourd’hui.

Lors d’un point de presse, Eli Collins, vice-président des produits chez Google DeepMind, a déclaré « Je soupçonne que oui », lorsqu’on lui a demandé si Gemini avait de nouvelles capacités par rapport aux LLM de la génération actuelle – une réponse, au mieux, vague.

Collins a également déclaré que Gemini avait procédé aux « évaluations de sécurité les plus complètes » de tous les modèles d’IA que la société avait construits à ce jour, ce qui pourrait expliquer pourquoi Google aurait dû reporter son lancement.

La société a également déclaré qu’elle ne publierait pas le nombre de paramètres, ce qui pourrait également rendre les comparaisons difficiles.

Au-delà de Gemini, Google a également présenté son expérience générative de recherche « expérimentale » plus tôt cette année, destinée à améliorer les résultats des moteurs de recherche de l’entreprise. Mais compte tenu de ce que nous avons vu jusqu’à présent, l’outil laisse beaucoup à désirer .

En bref, le jury ne sait toujours pas où se situe Gemini par rapport à sa féroce concurrence.

Et il est peu probable que cela change de si tôt. À partir d’aujourd’hui, les utilisateurs de Bard ne pourront utiliser que des invites textuelles, les interactions image et audio ne étant publiées que « dans les mois à venir », comme l’a déclaré Collins aux journalistes.

Même Gemini Ultra, qui, selon Google, peut surpasser GPT-4, n’est toujours pas prêt à être diffusé aux heures de grande écoute, ce qui signifie que nous devrons attendre de pouvoir tirer des conclusions définitives.

https://futurism.com/google-gemini-gpt-4