Notion · Les bases
Paramètre
Une valeur interne ajustée pendant l’apprentissage du modèle. Le nombre de paramètres renseigne sur sa taille, sans suffire à dire s’il convient à votre usage.
Comment ça marche
Un modèle de langage est une immense fonction mathématique dont les réglages internes, les paramètres, ont été ajustés pendant l’entraînement. Chaque paramètre est un nombre. Il y en a des milliards : sept, soixante-dix, plusieurs centaines selon les modèles. Ensemble, ils encodent ce que le modèle a appris : les régularités du langage, les connaissances, les façons de répondre. Après l’entraînement, ils ne changent plus.
Pour une entreprise, le nombre de paramètres sert à deux choses. Estimer la puissance générale d’un modèle, à génération comparable. Et, pour un modèle local, estimer le matériel nécessaire : la mémoire de la carte graphique doit contenir les paramètres, compressés ou non. Il ne dit rien de la qualité sur votre tâche, ni du comportement du modèle, ni de ce que fait l’application autour. On lit le nombre, et on teste.
Un exemple concret
- Modèle A, 8 milliards de paramètres : en version compressée, environ 5 gigaoctets. Tourne sur n’importe quelle carte graphique récente, vite. Qualité correcte sur le résumé et la classification, limitée sur le raisonnement.
- Modèle B, 27 milliards : environ 16 gigaoctets compressé. Demande une carte sérieuse. Nettement meilleur sur les tâches complexes.
- Modèle C, 70 milliards : environ 40 gigaoctets compressé. Demande deux cartes ou une carte professionnelle. Le meilleur des trois, mais lent sur le matériel envisagé.
- Le test : sur les 50 tâches réelles de l’entreprise, B fait aussi bien que C sur 46. A décroche sur 12.
- Le choix : B, sur la carte de 24 gigaoctets prévue. Le nombre de paramètres a servi à savoir ce qui tenait ; le test a servi à choisir.
Sans le test, le réflexe aurait été de prendre le plus gros. Il aurait fallu une machine deux fois plus chère pour un gain invisible.
Ce que ça change pour une équipe
- Les fiches de modèles se lisent. 7B, 70B, compressé ou non : on sait ce que ça implique pour le matériel et le coût.
- Le dimensionnement se calcule. Un gigaoctet par milliard de paramètres en compressé, plus la marge pour le contexte : la machine se choisit sur un coin de table.
- Le réflexe « plus gros » se corrige. Le test sur ses propres tâches remplace l’intuition.
- Le vocabulaire des prestataires se comprend. Quand on vous parle de taille de modèle, vous savez ce qui compte et ce qui ne compte pas.
Les limites et les erreurs fréquentes
- Choisir sur le nombre. Le plus gros n’est pas le meilleur pour votre tâche, et coûte plus cher à faire tourner.
- Comparer des générations différentes. Un 8B d’aujourd’hui bat souvent un 30B d’il y a deux ans. La date compte autant que la taille.
- Oublier la mémoire du contexte. Les paramètres tiennent, mais pas les longues conversations. Prévoir de la marge.
- Croire que les paramètres contiennent vos données. Non, sauf fine-tuning sur vos données. Utiliser un modèle ne change aucun de ses paramètres.
Pour aller plus loin
Les poids et biais numériques constituent les paramètres appris. Leur nombre influe sur la mémoire nécessaire, mais l’architecture, les données, la précision numérique et les méthodes d’entraînement influent aussi sur les capacités.
Où ça se situe chez Opora
Programme 01 · Mieux utiliserUn usage responsable et sobre de l’IA
Savoir lire une fiche de modèle, taille, coût, matériel, sans se laisser impressionner par les milliards, c’est un des fondamentaux du programme Un usage responsable.
Questions fréquentes
Plus de paramètres, c’est mieux ?
En général, à architecture et données comparables, oui : un modèle plus grand est plus capable. Mais un petit modèle récent bat souvent un grand modèle ancien, et sur une tâche précise, un petit modèle bien choisi suffit. Le nombre de paramètres indique la taille, pas l’adéquation à votre usage.
Que signifient 7B, 70B ?
Le nombre de paramètres en milliards : 7B, sept milliards ; 70B, soixante-dix milliards. C’est l’indication de taille des modèles ouverts. Les plus grands modèles commerciaux ne publient pas leur taille. Pour le local, la taille dicte la mémoire nécessaire : à peu près un gigaoctet par milliard de paramètres en version compressée.
Puis-je modifier les paramètres ?
Pas directement, et ce n’est pas utile. Les paramètres se modifient par l’entraînement, ou par un fine-tuning qui en ajuste une partie. Au quotidien, on n’y touche pas : on agit sur ce qu’on donne au modèle, pas sur ce qu’il est.