Données d’entraînement

Comment ça marche

Un modèle est le produit de ses données d’entraînement. Ce qu’il sait, c’est ce qu’elles contenaient : des connaissances générales, abondantes sur les sujets très écrits, minces sur les sujets rares. Sa langue dominante est celle de ses données, en général l’anglais, et son français dépend de la part de français qu’il a lue. Ses biais sont ceux du corpus : le monde tel qu’il a été écrit, avec ses déséquilibres. Et sa date limite est celle de la collecte.

Pour une entreprise, ça fixe les attentes. Le modèle est bon sur ce qui est public et fréquent : la rédaction courante, le droit général, les techniques connues. Il est approximatif sur ce qui est spécialisé, local, récent ou interne. Ces zones-là se couvrent autrement : en fournissant les documents, en construisant un RAG, en ajustant un modèle sur vos exemples. Savoir où sont les trous évite de leur faire confiance.

Un exemple concret

1. Bon : les principes comptables généraux, la rédaction de courriers, la synthèse de textes. Abondamment écrits, bien appris.
2. Approximatif : les règles de la convention collective d’un client du secteur de la propreté. Peu de textes publics, un vocabulaire spécifique. Le modèle répond avec assurance et se trompe une fois sur trois. Solution : la convention fournie en contexte à chaque question.
3. Absent : les procédures internes du cabinet, les habitudes de chaque client, les décisions prises en réunion. Aucune donnée d’entraînement ne les contient. Solution : un assistant interne branché sur la documentation du cabinet.
4. Périmé : les seuils fiscaux de l’année. Postérieurs à la date de coupure. Solution : un document de référence mis à jour, fourni avec les questions fiscales.

Une matinée pour cartographier ce que le modèle sait et ne sait pas sur le métier. Les erreurs de confiance ont chuté dès la semaine suivante.

Ce que ça change pour une équipe

• La confiance se dose par sujet. Général et public : confiance élevée, relecture légère. Spécialisé, local, interne, récent : contexte fourni et vérification.
• Les biais sont attendus. Ils viennent des données ; on les cherche là où ils comptent, et on vérifie.
• La langue compte. Un modèle entraîné surtout en anglais peut être moins fin en français. Le test sur vos textes le dira.
• Le lien avec vos données est clair. Elles ne sont pas dans le modèle, et ne doivent y entrer que si vous le décidez.

Les limites et les erreurs fréquentes

• Faire confiance partout pareil. Le modèle est aussi assuré sur ce qu’il sait mal que sur ce qu’il sait bien. La carte des angles morts corrige ça.
• Attendre la transparence des fournisseurs. Les détails des données restent largement secrets. On teste sur ses propres cas plutôt que de supposer.
• Croire que le modèle connaît votre secteur. S’il est peu documenté publiquement, non. Le contexte fourni fait la différence.
• Négliger les données publiées par l’entreprise. Ce que vous mettez en ligne peut nourrir les prochains modèles. Ce n’est ni bon ni mauvais ; c’est à savoir.