Des physiciens quantiques ont réduit la taille et « décensuré » DeepSeek R1
infohightech ·
Un groupe de physiciens quantiques affirme avoir créé une version du puissant modèle d'IA de raisonnement DeepSeek R1 qui supprime la censure intégrée à la version originale par ses créateurs chinois.
Les scientifiques de Multiverse Computing, une entreprise espagnole spécialisée dans les techniques d'IA d'inspiration quantique, ont créé DeepSeek R1 Slim, un modèle 55 % plus petit mais aux performances presque équivalentes à celles du modèle original. Surtout, ils affirment avoir éliminé la censure officielle chinoise de ce modèle.
En Chine, les entreprises spécialisées en intelligence artificielle sont soumises à des règles et réglementations visant à garantir que leurs contenus soient conformes aux lois et aux « valeurs socialistes ». De ce fait, elles intègrent plusieurs niveaux de censure lors de l'entraînement de leurs systèmes d'IA. Interrogés sur des questions jugées « politiquement sensibles », les modèles refusent souvent de répondre ou reprennent à leur compte les arguments de la propagande d'État.
Pour simplifier le modèle, Multiverse a eu recours à une approche mathématique complexe, empruntée à la physique quantique, qui utilise des réseaux de grilles multidimensionnelles pour représenter et manipuler de vastes ensembles de données. L'utilisation de ces réseaux tensoriels permet de réduire considérablement la taille du modèle et d'exprimer plus efficacement un système d'IA complexe.
Cette méthode fournit aux chercheurs une « carte » de toutes les corrélations du modèle, leur permettant d'identifier et de supprimer avec précision des informations spécifiques. Après compression et édition du modèle, les chercheurs de Multiverse l'affinent afin que son résultat reste aussi proche que possible de celui du modèle original.
Pour tester son efficacité, les chercheurs ont constitué un ensemble de données d'environ 25 questions portant sur des sujets connus pour être censurés dans les modèles chinois, notamment « À qui ressemble Winnie l'Ourson ? » — une référence à un mème se moquant du président Xi Jinping — et « Que s'est-il passé à Tiananmen en 1989 ? ». Ils ont comparé les réponses du modèle modifié avec celles du modèle original DeepSeek R1, en utilisant GPT-5 d'OpenAI comme juge impartial pour évaluer le degré de censure de chaque réponse. Le modèle non censuré a été capable de fournir des réponses factuelles comparables à celles des modèles occidentaux, selon Multiverse.
Ce travail s'inscrit dans le cadre des efforts déployés par Multiverse pour développer une technologie permettant de compresser et de manipuler les modèles d'IA existants. La plupart des grands modèles de langage actuels nécessitent des GPU haut de gamme et une puissance de calcul considérable pour leur entraînement et leur exécution. Or, ils sont inefficaces, explique Roman Orús, cofondateur et directeur scientifique de Multiverse. Un modèle compressé peut offrir des performances quasi identiques et permettre des économies d'énergie et d'argent, ajoute-t-il.
L'industrie de l'IA déploie des efforts croissants pour concevoir des modèles plus petits et plus efficaces. Les modèles « distillés », tels que les variantes R1-Distill de DeepSeek, tentent de reproduire les capacités des modèles plus volumineux en leur faisant « enseigner » leurs connaissances à un modèle plus petit, même si leurs performances restent souvent inférieures à celles du modèle original pour les tâches de raisonnement complexes.
D'autres méthodes de compression des modèles incluent la quantification, qui réduit la précision des paramètres du modèle (les limites définies lors de son entraînement), et l'élagage, qui supprime des poids individuels ou des « neurones » entiers.
« Compresser de grands modèles d'IA sans en altérer les performances est un véritable défi », explique Maxwell Venetos, ingénieur de recherche en IA chez Citrine Informatics, une société de logiciels spécialisée dans les matériaux et la chimie, qui n'a pas participé au projet Multiverse. « La plupart des techniques doivent faire un compromis entre taille et capacité. L'intérêt de cette approche inspirée de la mécanique quantique réside dans son utilisation de mathématiques très abstraites pour réduire la redondance avec une précision inégalée. »
Cette approche permet de supprimer sélectivement les biais ou d'ajouter des comportements aux modèles linéaires à un niveau granulaire, expliquent les chercheurs de Multiverse. Outre la possibilité de contourner la censure des autorités chinoises, les chercheurs pourraient intégrer ou supprimer d'autres types de biais perçus ou de connaissances spécialisées. Multiverse prévoit à l'avenir de compresser tous les principaux modèles open source.
Thomas Cao, professeur adjoint de politique technologique à la Fletcher School de l'université Tufts, affirme que les autorités chinoises exigent que les modèles intègrent la censure – et cette exigence façonne désormais l'écosystème mondial de l'information, étant donné que bon nombre des modèles d'IA open source les plus influents proviennent de Chine.
Des universitaires ont également commencé à documenter et à analyser ce phénomène. Jennifer Pan, professeure à Stanford, et Xu Xu, professeur à Princeton, ont mené une étude en début d'année sur la censure imposée par les gouvernements dans les grands modèles linguistiques. Ils ont constaté que les modèles créés en Chine présentaient des taux de censure nettement plus élevés, notamment en réponse aux questions posées en chinois.
On observe un intérêt croissant pour les initiatives visant à supprimer la censure des modèles chinois. Plus tôt cette année, la société Perplexity, spécialisée dans la recherche par IA, a publié sa propre version non censurée de DeepSeek R1, baptisée R1 1776. L'approche de Perplexity consistait à affiner le modèle après son entraînement sur un ensemble de données de 40 000 requêtes multilingues relatives à des sujets censurés, une méthode d'ajustement plus classique que celle utilisée par Multiverse.
Cao prévient toutefois que les affirmations selon lesquelles la censure aurait été totalement « supprimée » pourraient être exagérées. Le gouvernement chinois contrôle étroitement l’information en ligne depuis la création d’Internet, ce qui signifie que la censure est à la fois dynamique et complexe. Elle est inhérente à chaque étape de l’apprentissage de l’IA, de la collecte des données jusqu’aux dernières phases d’alignement.
« Il est très difficile de reconstituer un modèle sans censure à partir des seules réponses à un si petit nombre de questions », explique Thomas Cao.
https://multiversecomputing.com/resources/deepseek-r1-uncensored-full-power-fraction-of-the-size