Un laboratoire chinois a dévoilé ce qui semble être l’un des premiers modèles d’IA « raisonnante » pour rivaliser avec l’o1 d’OpenAI .
Mercredi, DeepSeek , une société de recherche en IA financée par des traders quantitatifs, a publié un aperçu de DeepSeek-R1, qui, selon l’entreprise, est un modèle de raisonnement compétitif avec o1.
Contrairement à la plupart des modèles, les modèles de raisonnement se vérifient eux-mêmes efficacement en consacrant plus de temps à l’examen d’une question ou d’une requête. Cela leur permet d’éviter certains des pièges qui font généralement trébucher les modèles.
Semblable à o1, DeepSeek-R1 raisonne à travers des tâches, planifie à l’avance et exécute une série d’actions qui aident le modèle à parvenir à une réponse. Cela peut prendre un certain temps. Comme o1, selon la complexité de la question, DeepSeek-R1 peut « réfléchir » pendant des dizaines de secondes avant de répondre.
Crédits image : DeepSeek
DeepSeek affirme que DeepSeek-R1 (ou DeepSeek-R1-Lite-Preview, pour être précis) fonctionne à égalité avec le modèle o1-preview d’OpenAI sur deux benchmarks d’IA populaires, AIME et MATH. AIME utilise d’autres modèles d’IA pour évaluer les performances d’un modèle, tandis que MATH est une collection de problèmes de mots. Mais le modèle n’est pas parfait. Certains commentateurs sur X ont noté que DeepSeek-R1 a du mal avec le morpion et d’autres problèmes de logique (tout comme o1 ).
DeepSeek peut également être facilement jailbreaké, c’est-à-dire activé de telle manière qu’il ignore les mesures de sécurité. Un utilisateur de X a demandé au modèle de fournir une recette détaillée de méthamphétamine .
De plus, DeepSeek-R1 semble bloquer les requêtes jugées trop sensibles politiquement. Lors de nos tests, le modèle a refusé de répondre aux questions sur le dirigeant chinois Xi Jinping, la place Tiananmen et les implications géopolitiques de l’invasion de Taïwan par la Chine.
Crédits image : DeepSeek
Ce comportement est probablement le résultat de la pression exercée par le gouvernement chinois sur les projets d’IA dans la région. Les modèles chinois doivent être évalués par le régulateur chinois d’Internet pour garantir que leurs réponses « incarnent les valeurs fondamentales du socialisme ». Le gouvernement aurait même proposé une liste noire de sources qui ne peuvent pas être utilisées pour former les modèles – ce qui a pour conséquence que de nombreux systèmes d’IA chinois refusent de répondre à des sujets susceptibles de susciter la colère des régulateurs.
L’attention accrue portée aux modèles de raisonnement intervient alors que la viabilité des « lois d’échelle », des théories de longue date selon lesquelles l’ajout de plus de données et de puissance de calcul à un modèle augmenterait continuellement ses capacités, est remise en question. De nombreux articles de presse suggèrent que les modèles des principaux laboratoires d’IA, dont OpenAI, Google et Anthropic, ne s’améliorent pas aussi considérablement qu’auparavant.
Cela a conduit à une ruée vers de nouvelles approches, architectures et techniques de développement de l’IA. L’une d’entre elles est le calcul au moment des tests, qui sous-tend des modèles comme o1 et DeepSeek-R1. Également connu sous le nom de calcul d’inférence, le calcul au moment des tests donne essentiellement aux modèles un temps de traitement supplémentaire pour effectuer les tâches.
« Nous assistons à l’émergence d’une nouvelle loi d’échelle », a déclaré cette semaine le PDG de Microsoft, Satya Nadella, lors d’un discours liminaire à la conférence Ignite de Microsoft, faisant référence au calcul au moment des tests.
DeepSeek, qui annonce son intention de rendre le code source de DeepSeek-R1 accessible en open source et de publier une API, est une opération curieuse. Elle est soutenue par High-Flyer Capital Management, un fonds spéculatif quantitatif chinois qui utilise l’IA pour éclairer ses décisions de trading.
L’un des premiers modèles de DeepSeek, un modèle d’analyse de texte et d’images à usage général appelé DeepSeek-V2, a forcé des concurrents comme ByteDance, Baidu et Alibaba à réduire les prix d’utilisation de certains de leurs modèles – et à en rendre d’autres totalement gratuits.
High-Flyer construit ses propres clusters de serveurs pour la formation de modèles, dont le plus récent serait doté de 10 000 GPU Nvidia A100 et aurait coûté 1 milliard de yens (environ 132 millions €). Fondée par Liang Wenfeng, diplômé en informatique, High-Flyer vise à réaliser une IA « superintelligente » grâce à son organisation DeepSeek.
https://techcrunch.com/2024/11/20/a-chinese-lab-has-released-a-model-to-rival-openais-o1/
