Mais au fait, c’est quoi la distillation des modèles d’IA ?

La distillation transfère le savoir-faire d’un grand modèle d’IA, le « professeur », vers un modèle plus petit, l’« élève ». Décryptage.

#astuce : distiller un modèle d'IA ne nécessite aucun alambic. © Igor - stock.adobe.com

Sommaire

Depuis début 2026, le mot revient dans la plupart des accusations que les laboratoires d’IA américains adressent à leurs concurrents chinois. Anthropic, OpenAI et même la Maison-Blanche reprochent à plusieurs entreprises, dont DeepSeek et Moonshot, d’avoir « distillé » leurs modèles. La distillation est pourtant d’abord une technique d’entraînement courante, que les laboratoires appliquent à leurs propres modèles. Comme l’alignement, elle relève de la fabrication des modèles plutôt que des briques qui les relient à leur environnement. On vous explique.

Pourquoi entraîner un petit modèle à partir d’un grand ?

Les modèles les plus performants sont aussi les plus coûteux à faire tourner. En effet, chaque réponse mobilise une puissance de calcul importante, qui pèse sur le prix facturé comme sur le temps d’attente. Un petit modèle entraîné seul reste, lui, nettement moins bon. La distillation consiste alors à faire apprendre au petit modèle, appelé « élève », ce que sait faire le grand, appelé « professeur ».

L’idée a été formalisée en mars 2015 par Geoffrey Hinton, futur prix Nobel de physique, Oriol Vinyals et Jeff Dean, alors chez Google, dans un article de recherche qui a donné son nom à la technique. Les trois chercheurs prolongeaient des travaux de Rich Caruana, qui avait montré qu’un ensemble de modèles pouvait être compressé en un seul.

Quand un modèle classe une image, il ne se contente pas d’une réponse, il attribue une probabilité à chaque option possible. Les trois chercheurs l’ont illustré ainsi : « Une image de BMW n’a qu’une très faible probabilité d’être prise pour un camion poubelle, mais cette erreur reste nettement plus probable que de la confondre avec une carotte. » Ces nuances renseignent sur la manière dont le professeur généralise, et l’élève en apprend davantage en les imitant qu’en recopiant la seule bonne réponse.

Comment fonctionne la distillation ?

Appliquée aux grands modèles de langage, la distillation suit généralement trois étapes :

La collecte des réponses du professeur : le grand modèle reçoit un très grand volume de requêtes, choisies selon les compétences à transférer (code, mathématiques, rédaction…), et ses réponses sont conservées.
L’entraînement de l’élève : le petit modèle apprend à reproduire ces réponses. Les concepteurs qui ont la main sur le professeur peuvent exploiter ses probabilités détaillées. Ceux qui passent par une API ne disposent que du texte produit, ce qui suffit déjà à transférer une partie de ses capacités.
L’évaluation : l’élève est testé sur les tâches visées, pour mesurer l’écart qui le sépare encore de son professeur.

Depuis l’arrivée des modèles de raisonnement, la matière la plus convoitée est la chaîne de raisonnement du professeur. Elle expose les étapes intermédiaires qui mènent à une réponse, là où le résultat final n’en garde aucune trace. En janvier 2025, DeepSeek a publié, aux côtés de son modèle de raisonnement R1, six modèles plus petits distillés à partir de lui, construits sur des modèles ouverts des familles Qwen (Alibaba) et Llama (Meta). Les fournisseurs cloud vendent aussi la technique clé en main, à l’image d’Amazon, qui propose dans sa plateforme Bedrock de distiller un modèle Nova avancé vers une version plus légère.

Distillation et fine-tuning, quelle différence ?

Le fine-tuning consiste à réentraîner un modèle existant sur des données spécifiques pour modifier son comportement. La distillation passe souvent par ce même mécanisme, mais ses données d’entraînement sont produites par un autre modèle, et non rédigées ou annotées par des humains. Le fine-tuning spécialise un modèle sur un ton, un format ou un domaine, alors que la distillation cherche à faire tenir les capacités d’un grand modèle dans un plus petit.

Laboratoires américains et chinois s’écharpent sur la distillation

Dans un billet publié en février, Anthropic rappelle que « les laboratoires d’IA de pointe distillent régulièrement leurs propres modèles pour en créer des versions plus petites et moins chères à destination de leurs clients ». Pour une entreprise, ces versions compactes coûtent moins cher par requête, répondent plus vite et peuvent parfois tourner en local. L’élève reste toutefois borné par son professeur, dont il reproduit aussi les erreurs.

Dans ce même article, l’entreprise accusait DeepSeek, Moonshot et MiniMax d’avoir distillé Claude à grande échelle, avec plus de 16 millions d’échanges générés via environ 24 000 comptes frauduleux. En juillet, Michael Kratsios, conseiller de la Maison-Blanche pour la science et la technologie, a affirmé que Moonshot avait distillé Claude Fable pour concevoir Kimi K3. Fin septembre, OpenAI a attribué à des personnes liées à la même entreprise une campagne visant à extraire le raisonnement de ses modèles. Le 12 octobre, Anthropic a assuré que ses nouvelles protections réduisaient de 90 à 99 % les données de raisonnement récupérées par ces campagnes, mais ces chiffres proviennent de ses propres mesures et aucun audit indépendant ne les a encore confirmés.

Les griefs des laboratoires portent sur les conditions dans lesquelles la technique est employée. Ils évoquent des réseaux de comptes frauduleux, le contournement de leurs restrictions d’accès et la violation de leurs conditions d’utilisation. Anthropic avance aussi un argument de sécurité, puisqu’un modèle distillé de cette façon a peu de chances de conserver les garde-fous de son professeur. Les critiques de ces laboratoires rappellent de leur côté qu’ils ont eux-mêmes entraîné leurs modèles sur des contenus collectés sans l’accord de leurs auteurs. Faute de cadre juridique propre à la distillation, ce sont pour l’instant les conditions d’utilisation des fournisseurs qui tracent la limite entre usage légitime et copie.