Hallucination

Comment ça marche

Un modèle de langage écrit la suite la plus probable d’un texte. Quand on lui demande une information qu’il n’a pas, il ne s’arrête pas : il produit ce qui ressemble le plus à une réponse. Une date, un chiffre, un nom d’auteur, un numéro d’article de loi, une étude. Le résultat a la forme d’un fait, le ton d’un fait, et n’en est pas un.

Les situations à risque sont connues. Les questions précises sur des faits que le modèle connaît mal : votre entreprise, un texte récent, un chiffre exact. Les demandes de références et de citations. Les questions posées de façon à suggérer la réponse. Et les cas où le modèle ne peut pas dire « je ne sais pas » parce que la consigne ne le lui permet pas. À l’inverse, une tâche de transformation d’un texte fourni (résumer, reformuler, traduire) hallucine beaucoup moins, parce que la matière est là.

Un exemple concret

1. La demande : un responsable RH demande à un assistant les règles de délai de prévenance pour une modification d’horaires, avec les références.
2. La réponse : trois paragraphes clairs, un délai de 7 jours, deux articles du Code du travail cités avec leur numéro, et un arrêt de la Cour de cassation daté.
3. La vérification : le premier article existe et dit autre chose ; le second n’existe pas sous ce numéro ; l’arrêt est introuvable. Le délai de 7 jours est une règle réelle, mais soumise à des conditions que la réponse omettait.
4. La correction de méthode : la même question, posée avec le texte de la convention collective et de l’accord d’entreprise collés dans la demande, et la consigne « réponds uniquement à partir de ces documents, cite le passage exact, et dis si l’information n’y est pas ».

La deuxième réponse était plus courte, moins assurée, et juste. Elle disait que la convention ne traitait pas un des cas, ce qui était vrai.

Ce que ça change pour une équipe

• La vérification fait partie de l’usage. Pas comme une méfiance, comme une étape : tout ce qui est précis et vérifiable se vérifie avant d’être utilisé.
• On donne la matière au modèle. Documents, données, textes de référence collés dans la demande ou branchés par RAG : le modèle qui a les sources sous les yeux invente beaucoup moins.
• On autorise le « je ne sais pas ». Une consigne qui demande de signaler l’absence d’information, ou d’écrire À COMPLÉTER, transforme une invention en une case vide, visible.
• Les usages se trient. Transformer un texte fourni : risque faible. Produire des faits de mémoire : risque élevé. La charte peut le dire en une ligne.

Les limites et les erreurs fréquentes

• Faire confiance au ton. L’assurance du modèle n’est pas un indice de fiabilité. Il est aussi assuré quand il invente.
• Demander des références sans sources. C’est la situation où les modèles inventent le plus. Soit on fournit les sources, soit on utilise un mode de recherche avec citations, et on vérifie.
• Croire que le RAG supprime le problème. Il le réduit. Si les passages retrouvés ne contiennent pas la réponse, le modèle peut encore compléter. La consigne et les citations vérifiables restent nécessaires.
• Vérifier tout, ou rien. Vérifier tout est intenable ; ne rien vérifier est dangereux. On vérifie ce qui est précis, ce qui engage, et ce qui part à l’extérieur.