Notion · Les bases
Alignement (RLHF)
L’étape qui apprend à un modèle à être utile, à suivre des consignes et à refuser certaines demandes. C’est ce qui sépare un modèle brut d’un assistant utilisable.
Comment ça marche
Un modèle fraîchement pré-entraîné a lu une grande partie du web et sait compléter du texte. Il ne sait pas être un assistant. L’alignement est l’étape qui lui apprend : d’abord par des exemples de dialogues bien menés, puis par des retours humains ou automatisés qui récompensent les réponses utiles, honnêtes et inoffensives, et pénalisent les autres. À la fin, le modèle répond aux questions, suit les consignes, adopte un ton, et refuse certaines choses.
C’est l’alignement qui fait le caractère d’un modèle : sa politesse, sa prudence, sa tendance à nuancer, ses refus, et une partie de ses biais. Deux modèles de même puissance alignés différemment se comportent différemment. Pour une entreprise, ça explique beaucoup de comportements : un refus sur un sujet sensible, un ton trop précautionneux, une tendance à approuver l’utilisateur. Et ça fixe les limites : l’alignement rend le modèle résistant aux manipulations, pas invulnérable.
Un exemple concret
- Le refus : « Quelle posologie pour tel médicament chez un enfant de 20 kg ? » L’assistant refuse de donner un avis médical. Alignement prudent sur la santé. Solution : préciser le contexte professionnel et fournir la source (le résumé des caractéristiques du produit), ou utiliser un outil médical dédié.
- La flatterie : « Mon planning de garde est-il bien organisé ? » L’assistant approuve chaleureusement. L’alignement récompense les réponses qui plaisent. Solution : demander explicitement les faiblesses, avec un rôle de relecteur sévère.
- La nuance excessive : « Faut-il rappeler ce patient ? » L’assistant produit un paragraphe de « d’un côté, de l’autre ». Solution : imposer le format : « réponds oui ou non, puis une ligne de justification ».
Aucun de ces comportements n’est un bug. Ce sont des traits appris, qu’on contourne par le contexte, le rôle et le format.
Ce que ça change pour une équipe
- Les comportements s’expliquent. Refus, prudence, approbation : on sait d’où ça vient, et on cesse de s’en étonner.
- Les consignes se calibrent. Contexte professionnel, rôle de relecteur, format imposé : trois leviers contre les travers de l’alignement.
- Les modèles se choisissent aussi sur leur caractère. Un modèle très prudent gêne dans certains métiers ; un modèle plus direct convient mieux.
- Les limites de sécurité sont comprises. L’alignement protège contre beaucoup, pas contre tout. Les garde-fous et le périmètre restent nécessaires.
Les limites et les erreurs fréquentes
- Prendre l’approbation pour une validation. L’assistant a tendance à dire que c’est bien. On lui demande ce qui ne va pas.
- Se battre contre un refus. Insister dix fois sur une question refusée mène parfois à un contournement, et c’est une mauvaise habitude. Donner le contexte, ou changer d’outil.
- Croire que l’alignement supprime les biais. Il en corrige certains et en crée d’autres. Les tests de biais restent nécessaires là où ça compte.
- Compter sur l’alignement pour la sécurité de vos outils. Il arrête les demandes les plus graves, pas celles qui concernent vos règles. Celles-là sont à vous de les tenir.
Pour aller plus loin
Après le pré-entraînement, le modèle est ajusté par instruction tuning, puis par apprentissage par renforcement à partir de retours humains (RLHF) ou de règles explicites. L’alignement détermine le ton, les refus et une partie des biais observés.
Où ça se situe chez Opora
Programme 01 · Mieux utiliserUn usage responsable et sobre de l’IA
Comprendre pourquoi un assistant refuse, nuance ou adopte tel ton, et ce que ça implique pour vos consignes, c’est un des points de culture du programme Un usage responsable.
Questions fréquentes
Qu’est-ce qu’un modèle non aligné ?
Un modèle juste après le pré-entraînement : il complète du texte, c’est tout. Posez-lui une question, il peut continuer par une autre question, ou par n’importe quoi de plausible. Il ne sait pas qu’il doit répondre, aider, ni refuser. L’alignement lui apprend le rôle d’assistant.
RLHF, ça veut dire quoi ?
Reinforcement learning from human feedback : apprentissage par renforcement à partir de retours humains. Des personnes comparent des réponses du modèle et indiquent la meilleure ; le modèle est ajusté pour produire plus souvent celles qui sont préférées. D’autres méthodes existent, à partir de règles explicites ou de retours générés par un modèle. Le principe est le même : façonner le comportement.
Pourquoi l’assistant refuse-t-il certaines demandes légitimes ?
Parce que l’alignement l’a rendu prudent sur des sujets jugés sensibles, et que cette prudence déborde parfois. Un modèle peut refuser une question médicale ou juridique parfaitement légitime dans un contexte professionnel. On contourne en donnant le contexte, ou on choisit un modèle et une application adaptés à l’usage.