Notion · Brancher l’IA sur ses données
Quantification
Une compression qui réduit la taille d’un modèle pour le faire tourner sur une machine plus modeste, au prix d’une légère perte de qualité. C’est ce qui rend les modèles locaux accessibles.
Comment ça marche
Un modèle, c’est des milliards de paramètres, chacun stocké sous forme de nombre. La précision de ces nombres détermine la mémoire nécessaire : à 16 bits par paramètre, un modèle de 8 milliards de paramètres pèse 16 gigaoctets. La quantification consiste à stocker ces nombres avec moins de bits, 8 ou 4, en arrondissant. La taille chute, la vitesse augmente, et les résultats changent peu, parce que les modèles tolèrent bien cette approximation.
C’est ce qui permet de faire tourner un modèle sérieux sur une machine courante. Un modèle de 8 milliards de paramètres en 4 bits tient dans 5 gigaoctets, à la portée d’un portable récent. Un modèle de 70 milliards en 4 bits tient sur un serveur avec une bonne carte graphique. Les versions quantifiées sont publiées prêtes à l’emploi ; le choix du niveau se fait en comparant qualité et matériel disponible, sur ses propres tâches.
Un exemple concret
- Le matériel : un serveur avec une carte graphique de 24 gigaoctets, acheté pour l’IA interne.
- Les candidats : un modèle de 30 milliards de paramètres en version non quantifiée (60 gigaoctets, ne tient pas), en 8 bits (30 gigaoctets, ne tient pas), en 4 bits (environ 18 gigaoctets, tient, avec de la place pour le contexte).
- Le test : 50 tâches réelles (résumés de comptes rendus, extraction de contraintes dans des règlements, réponses sur les documents du cabinet), comparées entre la version 4 bits locale et la version complète chez un hébergeur loué pour le test.
- Résultat : 47 tâches sur 50 jugées équivalentes. Les trois écarts concernent des calculs de surfaces, confiés de toute façon à un outil classique.
- Décision : la version 4 bits, en production. Un test rejoué à chaque nouveau modèle.
Sans quantification, le cabinet aurait eu le choix entre un serveur trois fois plus cher et un modèle trois fois plus petit. Avec, il a le modèle qu’il voulait sur la machine qu’il avait.
Ce que ça change pour une équipe
- Le matériel nécessaire baisse d’un cran. Un modèle visé pour un serveur de luxe tourne sur un serveur raisonnable.
- Le local devient réaliste sur un portable. Pour essayer, et pour les usages individuels sensibles, la machine du dirigeant suffit.
- Le choix se fait sur des tests. Niveau de quantification, taille de modèle, matériel : trois variables, un jeu de cas, une après-midi.
- Le vocabulaire des prestataires se décode. « Q4 », « 8 bits », « GGUF » : des termes qui désignent simplement des niveaux de compression et des formats.
Les limites et les erreurs fréquentes
- Quantifier trop fort pour faire tenir. Un gros modèle écrasé à 2 bits est souvent moins bon qu’un modèle moyen à 4 bits. On teste avant de choisir.
- Oublier la place du contexte. Le modèle tient, mais pas le contexte des longues conversations. Prévoir de la marge en mémoire.
- Comparer des niveaux différents. Deux modèles testés à des quantifications différentes ne se comparent pas. Même niveau, mêmes conditions.
- Croire que c’est définitif. Les techniques de compression progressent. Un modèle écarté l’an dernier tient peut-être aujourd’hui avec une meilleure qualité.
Pour aller plus loin
La quantification stocke les poids sur moins de bits (8, 4, parfois moins) au lieu de 16 ou 32. La mémoire nécessaire chute d’autant, la vitesse augmente, et la dégradation reste souvent faible sur les tâches courantes.
Où ça se situe chez Opora
Programme 03 · Garder la maîtriseL’IA chez vous, sans que vos données sortent
Choisir le bon niveau de quantification pour faire tourner un modèle sur le matériel disponible, sans sacrifier la qualité, c’est un réglage que nous faisons ensemble dans le programme Garder la maîtrise.
Questions fréquentes
Quantifier, ça fait perdre beaucoup ?
Selon le niveau. Passer de 16 à 8 bits par paramètre divise la taille par deux pour une perte souvent imperceptible. Passer à 4 bits divise par quatre, avec une perte faible sur les tâches courantes et plus sensible sur les tâches fines. En dessous, la dégradation devient nette. Le bon niveau se trouve en testant sur ses propres tâches.
Pourquoi est-ce nécessaire ?
Parce qu’un modèle non compressé de taille moyenne demande des dizaines de gigaoctets de mémoire sur la carte graphique, ce que seules des machines coûteuses offrent. Quantifié, le même modèle tient sur un ordinateur portable récent ou un serveur modeste. C’est ce qui a rendu l’IA locale réaliste pour les PME.
Dois-je quantifier moi-même ?
Non. Les versions quantifiées des modèles ouverts sont publiées, prêtes à l’emploi, à plusieurs niveaux. Des outils comme Ollama les téléchargent directement. Le travail consiste à choisir le niveau, et à vérifier la qualité sur ses cas.