Distillation

Comment ça marche

Un grand modèle sait beaucoup et coûte cher à faire tourner. La distillation transfère une part de ce savoir dans un modèle beaucoup plus petit. Le grand modèle, appelé maître, produit des réponses sur une grande variété de questions ; le petit, l’élève, est entraîné à les reproduire. À la fin, l’élève répond comme le maître sur une large part des cas, pour une fraction de la taille et du coût. C’est ainsi que sont fabriqués la plupart des petits modèles performants publiés aujourd’hui.

Pour une entreprise, la distillation explique deux choses. Pourquoi des modèles de quelques milliards de paramètres font si bien : ils ont hérité d’un grand. Et pourquoi certaines licences de modèles propriétaires interdisent d’utiliser leurs sorties pour entraîner d’autres modèles : la distillation est une façon de copier. Une entreprise qui veut un petit modèle spécialisé peut distiller elle-même, à petite échelle, à partir d’un modèle dont la licence le permet.

Un exemple concret

1. Le besoin : classer les demandes entrantes en 40 catégories internes, en interne, vite, sur des volumes importants. Un grand modèle fait bien la tâche avec une longue consigne, mais il est externe et coûteux.
2. Le maître : un grand modèle ouvert dont la licence permet d’utiliser les sorties pour l’entraînement. Il classe 20 000 demandes passées anonymisées, avec la longue consigne.
3. L’élève : un petit modèle ouvert, ajusté sur ces 20 000 exemples, en deux jours sur un serveur loué.
4. Le résultat : l’élève classe aussi bien que le maître sur 96 % des cas, en une fraction de seconde, sur un serveur modeste, sans consigne longue, et sans qu’aucune donnée sorte.
5. La vérification : un jeu de test de 2 000 demandes mis de côté, jamais vu ni par le maître ni par l’élève. Et une relecture de la licence par le juriste avant de commencer.

Le maître a servi deux jours. L’élève tourne depuis un an. La licence a été le premier point vérifié.

Ce que ça change pour une équipe

• Les petits modèles s’expliquent. On comprend pourquoi un modèle de 4 milliards fait si bien, et ce qu’on peut en attendre.
• Un petit modèle maison est à portée. Pour une tâche précise, un grand modèle génère les exemples, un petit modèle les apprend. Quelques jours.
• Les licences prennent sens. La clause sur l’entraînement d’autres modèles, souvent ignorée, devient concrète.
• Le local se renforce. Un petit modèle distillé sur votre tâche est l’outil idéal pour un traitement interne en volume.

Les limites et les erreurs fréquentes

• Distiller un modèle dont la licence l’interdit. C’est une violation des conditions, avec des conséquences possibles. La licence d’abord.
• Croire que l’élève sait tout ce que sait le maître. Il reproduit le maître sur les exemples vus et leurs voisins. Hors de ce domaine, il décroche.
• Des exemples générés sans contrôle. Le maître se trompe parfois ; l’élève apprend ses erreurs. Un échantillon des exemples se relit.
• Oublier le jeu de test indépendant. Sans cas jamais vus, impossible de savoir si l’élève a appris ou appris par cœur.