Évaluation d’un modèle

Comment ça marche

Évaluer un modèle, c’est lui faire passer un examen qu’on a conçu soi-même. On rassemble des cas réels de la tâche visée : des e-mails à classer, des documents à résumer, des questions à répondre. Pour chacun, on écrit la réponse attendue, ou les critères d’une bonne réponse. Puis on fait traiter ces cas par le modèle, et on compte : combien de bonnes réponses, quelles erreurs, où.

Ce jeu de test devient l’outil de toutes les décisions. Comparer deux modèles : même jeu, deux scores. Changer une consigne : le score monte ou descend. Accueillir une nouvelle version du modèle : on vérifie qu’elle ne régresse pas avant de basculer. C’est l’équivalent, pour l’IA, des tests automatisés en développement : ce qui transforme une impression en mesure.

Un exemple concret

1. Le jeu : 60 questions extraites d’appels d’offres passés, avec la réponse validée que l’entreprise avait fournie, et pour chaque question les documents sources.
2. Les candidats : trois modèles (un grand en ligne, un moyen en ligne, un ouvert en local), chacun avec les mêmes documents et la même consigne.
3. La notation : deux responsables notent chaque réponse à l’aveugle de 0 à 3 : exactitude, complétude, ton. 180 réponses, une après-midi.
4. Résultats : grand modèle 2,6 de moyenne ; moyen 2,4 ; local 2,1. Mais sur les 15 questions techniques, le local tombe à 1,4 ; sur les 45 autres, il est à 2,3.
5. Décision : le local pour les questions courantes, données sensibles obligent ; le modèle moyen en ligne pour les questions techniques, après anonymisation. Un test rejoué à chaque nouvelle version.

Sans le jeu de test, l’entreprise aurait pris le grand modèle partout, par réflexe. Elle aurait payé plus, et exposé des données sans le vouloir.

Ce que ça change pour une équipe

• Les décisions se prennent sur des chiffres. Modèle, consigne, réglage : chaque choix a un score, et on peut l’expliquer.
• Les régressions se détectent. Un nouveau modèle, une consigne modifiée : le jeu de test dit immédiatement si c’est mieux ou moins bien.
• Le métier entre dans l’évaluation. Les réponses attendues sont écrites par ceux qui savent. Le jeu de test est une description de ce que l’entreprise considère comme un bon travail.
• Les prestataires sont évalués sur la même base. Un outil proposé par un prestataire passe le même examen. Les promesses se mesurent.

Les limites et les erreurs fréquentes

• Un jeu de cas trop faciles. Un score de 98 % sur des cas courants cache un score de 50 % sur les cas difficiles. Le jeu doit contenir les pièges connus.
• Tester sur les cas qui ont servi à régler. Si la consigne a été ajustée sur ces cas, le score est flatté. On garde des cas de côté pour le test final.
• Évaluer une fois. Les modèles changent, les données aussi. L’évaluation se rejoue à chaque changement, et périodiquement.
• Ne mesurer que l’exactitude. Le ton, la longueur, le respect du format, le temps de réponse et le coût comptent aussi. La grille le prévoit.