DeepSeek dévoile « Sparse Attention », un modèle d’IA révolutionnaire de nouvelle génération pour un traitement de contexte long plus rapide et moins cher
Quelques mois après avoir bouleversé le marché de l’IA avec son modèle R1, salué pour sa supériorité sur ses concurrents populaires à un prix bien inférieur, la start-up chinoise DeepSeek revient sur le devant de la scène. Basée à Hangzhou, l’entreprise a lancé un nouveau système expérimental, DeepSeek-V3.2-Exp, basé sur une technique baptisée « Sparse Attention ». Cette initiative, initialement rapportée par Bloomberg, marque ce que l’entreprise décrit comme une « étape intermédiaire » vers une architecture de nouvelle génération.
DeepSeek s’est forgé une réputation d’acteur chinois de l’IA parmi les plus ambitieux, alliant ambition technique et confidentialité. Avec la version V3.2-Exp, il s’attaque à l’un des défis les plus épineux des grands modèles linguistiques : l’efficacité à grande échelle, notamment pour la gestion de textes étendus. Le système s’appuie directement sur DeepSeek-V3.1-Terminus et introduit Sparse Attention, une méthode qui réduit la charge de calcul des tâches à contexte long tout en préservant la qualité du résultat.
« DeepSeek a mis à jour lundi un modèle d’IA expérimental, ce qui représente une avancée vers l’intelligence artificielle de nouvelle génération. La start-up chinoise, peu connue du grand public, a présenté la plateforme DeepSeek-V3.1-Exp, expliquant qu’elle utilise une nouvelle technique appelée DeepSeek Sparse Attention (DSA), selon un article publié sur sa page Hugging Face », a rapporté Bloomberg .
Méthode d’attention éparse du modèle d’IA DeepSeek V3.2
Sparse Attention remplace l’approche traditionnelle par force brute des transformateurs, où chaque jeton est contraint d’interagir avec tous les autres, par une approche plus sélective. Un « indexeur éclair » évalue rapidement les jetons passés et classe leur importance, ne conservant que les plus pertinents pour chaque requête.
Ce raccourci réduit la charge de travail quadratique, permettant une accélération jusqu’à 64 fois supérieure pour le traitement de séquences allant jusqu’à 128 000 jetons. Cette méthode combine une compression grossière des jetons avec une sélection fine, garantissant ainsi que le modèle conserve un contexte plus large. DeepSeek explique que cette approche se distingue de sa précédente tentative, Native Sparse Attention, lancée plus tôt cette année, et peut même être intégrée aux modèles pré-entraînés.
Lors des tests de performance, la version 3.2-Exp maintient son niveau face à la version précédente. Lors des tests de raisonnement, de codage et d’utilisation des outils, les différences étaient mineures, souvent de l’ordre d’un ou deux points, tandis que les gains d’efficacité étaient remarquables. Le modèle s’exécutait 2 à 3 fois plus vite en inférence à contexte long, réduisait l’utilisation de la mémoire de 30 à 40 % et améliorait l’efficacité de l’entraînement de moitié. Pour les développeurs, cela se traduit par des réponses plus rapides, des coûts d’infrastructure réduits et un déploiement plus fluide.
« Découvrez DeepSeek-V3.2-Exp , notre dernier modèle expérimental ! Basé sur la version 3.1-Terminus, il inaugure DeepSeek Sparse Attention (DSA) pour un entraînement et une inférence plus rapides et plus efficaces sur des contextes longs. Disponible dès maintenant sur les applications, le web et les API. Le prix des API est réduit de plus de 50 % ! », a déclaré DeepSeek dans un article sur X.
Performances et benchmarks de DeepSeek-V3.2-Exp
DeepSeek-V3.2-Exp, avec environ 671 milliards de paramètres, a été entraîné dans des configurations alignées sur la version 3.1-Terminus afin d’isoler l’impact de DSA. Les benchmarks portant sur le raisonnement, le codage et l’utilisation d’outils agents montrent une parité ou de légères améliorations :
Ces résultats indiquent que la DSA entraîne une perte de qualité minimale, souvent de l’ordre de 1 à 2 points, tout en offrant des gains d’efficacité substantiels : inférence 2 à 3 fois plus rapide pour les contextes longs, réduction de 30 à 40 % de l’utilisation de la mémoire et amélioration jusqu’à 50 % de l’efficacité de l’apprentissage. Concrètement, cela se traduit par des phases de pré-remplissage et de décodage plus rapides, rendant le modèle plus viable pour les déploiements en conditions réelles.
DeepSeek a rendu le modèle accessible sur Hugging Face sous licence MIT, avec des noyaux CUDA et des optimisations sur GitHub. Il fonctionne avec du matériel comme les GPU H100 de NVIDIA, bien que l’entreprise en recommande un pour les tests et huit pour les charges de travail en production. Les options de déploiement incluent les transformateurs Hugging Face, SGLang et vLLM.
L’entreprise réduit également ses coûts. Le prix des API a été réduit de plus de 50 %, avec des entrées à partir de 0,07 $ par million de jetons en cas de succès de cache. DeepSeek figure ainsi parmi les fournisseurs d’IA à grande échelle les moins chers, une initiative qui pourrait séduire les startups comme les entreprises. Le modèle est déjà opérationnel sur l’application, la plateforme web et l’API de DeepSeek, et les commentaires de la communauté sont ouverts jusqu’au 15 octobre.
Le timing est crucial. Les leaders mondiaux de l’IA investissent des milliards dans des systèmes gourmands en ressources, tandis que DeepSeek mise sur l’efficacité pour définir la prochaine vague. En valorisant le traitement à long contexte, Sparse Attention positionne l’entreprise pour être compétitive non seulement sur les performances, mais aussi sur les aspects économiques. Des voix du secteur sur X ont déjà suggéré que son approche pourrait rendre l’intelligence « presque trop bon marché pour être mesurée ».
La stratégie de DeepSeek – discrète, expérimentale et résolument agressive en matière d’efficacité – lui permet de rester fermement dans la course mondiale à l’IA. Avec la version V3.2-Exp, l’entreprise ne se contente pas de répéter ses travaux antérieurs ; elle pose les bases de ce qu’elle envisage comme l’avenir de l’IA à grande échelle.
