LMi-MAG25 avril - Flipbook - Page 52
FOCUS
Intelligence arti昀椀cielle
DEEPSEEK :
LES DESSOUS D’UNE IA
AU SUCCÈS FULGURANT
Propulsés sur le devant de la scène, la start-up chinoise DeepSeek et son modèle
de raisonnement R1 intriguent. Pourquoi un tel engouement ? Quelles sont les différences
par rapport à des modèles similaires ? Quelles infrastructures utilisent-ils ?
Décryptage avec un expert de l’IA.
Jacques Cheminat
ncore inconnue il y a quelques
semaines, la société chinoise
DeepSeek, à l’origine du modèle
de raisonnement R1, est devenue
en quelques jours un phénomène
inquiétant pour les grands acteurs de
l’IA. Son application de GenAI - également appelé DeepSeek et reposant
sur son LLM R1 - a pris la tête des programmes les plus
téléchargés sur l’App Store d’Apple. Plus performant,
entraîné à moindre coût, open source, le LLM affiche ses
avantages par rapport à la concurrence. Pour en savoir
plus, Alexei Grinbaum, directeur de recherche et président du comité opérationnel d’éthique du numérique
du CEA, nous donne son éclairage.
E
Une méthode d’apprentissage
par renforcement plus ciblée
Pour lui, le LLM R1 de DeepSeek « n’est pas révolutionnaire, mais il marque une étape sur deux points. Tout
d’abord, c’est la première fois qu’un modèle de raisonnement est mis en open source et l’autre point réside
dans la technique utilisée pour l’apprentissage par renforcement », observe-t-il. Sur la technique, il sépare « le
modèle de fondation (DeepSeek v3) et celui de raisonnement (R1). Sur le premier, la méthode d’apprentissage par
renforcement « s’est faite sans annotations humaines ».
52 / mars / avril / mai 2025
Par contre, sur le second, l’apprentissage par renforcement a été supervisé par l’humain ». Une différence avec o1
d’OpenAI où « la supervision humaine est présente sur les
deux modèles ». A noter aussi un phénomène inexpliqué
baptisé le « moment aha », par les experts de DeepSeek
sur le modèle de fondation. « Il apprend à consacrer plus
de temps de réflexion à un problème en réévaluant son
approche initiale », soulignent-ils dans leur document de
travail.
En matière de benchmark, « le modèle de fondation derrière R1 n’est pas très bon par rapport à o1 d’OpenAI, par
contre, son modèle de raisonnement est aussi performant », indique le chercheur. Pour lui la clé est à chercher dans « le dataset qui a servi au modèle de fondation,
il est très qualifié et il y a eu un grand travail en amont
sur ce point ». Pour autant, impossible de savoir exactement ce que contient ce jeu de données « cette partie
n’est pas open source », regrette-t-il. Alexei Grinbaum
salue également « la qualité de l’algorithme utilisée ».
Une distillation plus ef昀椀cace
Autre enseignement des travaux de DeepSeek, « la distillation du modèle R1 en de plus petits modèles les
rend plus efficaces », explique Alexei Grinbaum. Pour
lui « c’est une énorme découverte. Nous nous apercevons aujourd’hui que l’on peut reproduire le modèle doté
