Comment un modèle chinois d'IA de premier plan a surmonté les sanctions américaines

La communauté de l’IA est en émoi à propos de DeepSeek R1, un nouveau modèle de raisonnement open source. Le modèle a été développé par la startup chinoise d'IA DeepSeek, qui affirme que R1 égale ou même surpasse ChatGPT o1 d'OpenAI sur plusieurs critères clés, mais fonctionne à une fraction du coût. 

« Cela pourrait être une véritable avancée égalisatrice, idéale pour les chercheurs et les développeurs disposant de ressources limitées, en particulier ceux du Sud global », déclare Hancheng Cao, professeur adjoint en systèmes d’information à l’Université Emory.

Le succès de DeepSeek est d’autant plus remarquable que les entreprises chinoises du secteur de l’IA sont confrontées à des contraintes telles que le renforcement des contrôles américains sur les exportations de puces de pointe. Mais les premières données montrent que ces mesures ne fonctionnent pas comme prévu. Plutôt que d’affaiblir les capacités chinoises en matière d’IA, les sanctions semblent inciter les startups comme DeepSeek à innover de manière à privilégier l’efficacité, la mutualisation des ressources et la collaboration.

Pour créer R1, DeepSeek a dû retravailler son processus de formation afin de réduire la pression sur ses GPU, une variété lancée par Nvidia pour le marché chinois dont les performances sont plafonnées à la moitié de la vitesse de ses meilleurs produits, selon Zihan Wang, ancien employé de DeepSeek et actuel doctorant en informatique à l'Université Northwestern. 

DeepSeek R1 a été salué par les chercheurs pour sa capacité à s’attaquer à des tâches de raisonnement complexes, notamment en mathématiques et en codage. Le modèle utilise une approche de « chaîne de pensée » similaire à celle utilisée par ChatGPT o1, qui lui permet de résoudre des problèmes en traitant les requêtes étape par étape.

Dimitris Papailiopoulos, chercheur principal au laboratoire de recherche AI ​​Frontiers de Microsoft, explique que ce qui l'a le plus surpris avec R1, c'est sa simplicité d'ingénierie. « DeepSeek visait à obtenir des réponses précises plutôt qu'à détailler chaque étape logique, réduisant ainsi considérablement le temps de calcul tout en maintenant un niveau élevé d'efficacité », explique-t-il.

La nation a signalé qu'elle était prête à riposter encore plus durement, d'une manière qui pourrait infliger de graves souffrances économiques à son plus grand rival économique.

DeepSeek a également publié six versions plus petites de R1, suffisamment petites pour fonctionner localement sur des ordinateurs portables. L'une d'entre elles surpasse même l'o1-mini d'OpenAI sur certains tests. « DeepSeek a largement répliqué o1-mini et l'a rendu open source », a tweeté le PDG de Perplexity, Aravind Srinivas. DeepSeek n'a pas répondu à la demande de commentaires de MIT Technology Review .

Malgré le buzz autour de R1, DeepSeek reste relativement méconnu. Basée à Hangzhou, en Chine, elle a été fondée en juillet 2023 par Liang Wenfeng, un ancien élève de l'université du Zhejiang avec une formation en ingénierie informatique et électronique. Elle a été incubée par High-Flyer, un fonds spéculatif que Liang a fondé en 2015. Comme Sam Altman d'OpenAI, Liang vise à créer une intelligence artificielle générale (AGI), une forme d'IA capable d'égaler, voire de surpasser, les humains sur toute une série de tâches.

La formation de modèles linguistiques de grande taille (LLM) nécessite une équipe de chercheurs hautement qualifiés et une puissance de calcul considérable. Dans une récente interview accordée au média chinois LatePost, Kai-Fu Lee, un entrepreneur chevronné et ancien directeur de Google Chine, a déclaré que seuls les « acteurs de premier plan » s'engagent généralement dans la construction de modèles de base tels que ChatGPT, car cela nécessite beaucoup de ressources.

La situation est encore compliquée par les contrôles américains sur les exportations de semi-conducteurs avancés. La décision de High-Flyer de se lancer dans l’IA est toutefois directement liée à ces contraintes. Bien avant les sanctions anticipées, Liang a acquis un stock substantiel de puces Nvidia A100, un type de puce désormais interdit à l’exportation vers la Chine. Le média chinois 36Kr estime que l’entreprise possède plus de 10 000 unités en stock, mais Dylan Patel, fondateur du cabinet de conseil en recherche sur l’IA SemiAnalysis, estime qu’elle en possède au moins 50 000. Reconnaissant le potentiel de ce stock pour la formation de l’IA, Liang a créé DeepSeek, qui a pu les utiliser en combinaison avec les puces de moindre puissance pour développer ses modèles. 

Un nouveau venu dans le quartier

Les géants de la technologie comme Alibaba et ByteDance, ainsi qu’une poignée de startups disposant d’investisseurs aux poches bien garnies, dominent le secteur de l’IA en Chine, ce qui rend difficile la concurrence pour les petites et moyennes entreprises. Une entreprise comme DeepSeek, qui n’a pas l’intention de lever des fonds, est rare. 

Zihan Wang, ancien employé de DeepSeek, a déclaré au MIT Technology Review qu'il avait accès à d'abondantes ressources informatiques et qu'il avait la liberté d'expérimenter lorsqu'il travaillait chez DeepSeek, « un luxe que peu de jeunes diplômés auraient dans n'importe quelle entreprise ». 

Dans une interview accordée au média chinois 36Kr en juillet 2024, Liang a déclaré qu’un autre défi auquel les entreprises chinoises sont confrontées en plus des sanctions sur les puces électroniques est que leurs techniques d’ingénierie de l’IA ont tendance à être moins efficaces. « Nous [la plupart des entreprises chinoises] devons consommer deux fois plus de puissance de calcul pour obtenir les mêmes résultats. Si l’on ajoute à cela les écarts d’efficacité des données, cela pourrait signifier que nous avons besoin de jusqu’à quatre fois plus de puissance de calcul. Notre objectif est de combler en permanence ces écarts », a-t-il déclaré.  

Mais DeepSeek a trouvé des moyens de réduire l’utilisation de la mémoire et d’accélérer les calculs sans compromettre de manière significative la précision. « L’équipe adore transformer un défi matériel en opportunité d’innovation », explique Wang.

Liang lui-même reste très impliqué dans le processus de recherche de DeepSeek, en menant des expériences aux côtés de son équipe. « Toute l'équipe partage une culture collaborative et un dévouement à la recherche approfondie », précise Wang.

Ouvert à tous

En plus de privilégier l’efficacité, les entreprises chinoises adoptent de plus en plus les principes de l’open source. Alibaba Cloud a publié plus de 100 nouveaux modèles d’IA open source, prenant en charge 29 langages et répondant à diverses applications, notamment le codage et les mathématiques. De même, des startups comme Minimax et 01.AI ont ouvert leurs modèles en open source. 

Selon un livre blanc publié l’année dernière par l’Académie chinoise des technologies de l’information et de la communication, un institut de recherche affilié à l’État, le nombre de grands modèles linguistiques d’IA dans le monde a atteint 1 328, dont 36 % proviennent de Chine. Cela place la Chine au deuxième rang des plus grands contributeurs à l’IA, derrière les États-Unis. 

« Cette génération de jeunes chercheurs chinois s’identifie fortement à la culture open source car ils en bénéficient énormément », assure Thomas Qitong Cao, professeur adjoint de politique technologique à l’université Tufts .

« Le contrôle des exportations par les États-Unis a essentiellement acculé les entreprises chinoises dans une situation où elles doivent être beaucoup plus efficaces avec leurs ressources informatiques limitées », explique Matt Sheehan, chercheur en intelligence artificielle au Carnegie Endowment for International Peace. « Nous allons probablement assister à de nombreuses consolidations à l’avenir liées au manque de ressources informatiques. »

Cela a peut-être déjà commencé à se produire. Il y a deux semaines, Alibaba Cloud a annoncé un partenariat avec la start-up pékinoise 01.AI, fondée par Kai-Fu Lee, pour fusionner des équipes de recherche et créer un « laboratoire de modélisation industrielle à grande échelle ».

« Il est naturel et efficace d’envisager une certaine forme de division du travail dans le secteur de l’IA », conclut Thomas Qitong Cao, professeur à Tufts. « L’évolution rapide de l’IA exige de la part des entreprises chinoises une certaine agilité pour survivre. »

https://www.technologyreview.com/2025/01/24/1110526/china-deepseek-top-ai-despite-sanctions