Chunking (découpage en fragments)

Comment ça marche

Quand on branche une IA sur des documents, elle ne les lit pas en entier à chaque question. Les documents sont découpés en fragments, chaque fragment est indexé, et à chaque question le système retrouve les quelques fragments les plus pertinents pour les donner au modèle. Le chunking, c’est cette étape de découpage.

Elle paraît anodine, et elle décide de presque tout. Un fragment trop court perd son contexte : « le délai est de 30 jours » ne dit pas de quel délai il s’agit. Un fragment trop long mélange plusieurs sujets, et le modèle se perd. Un découpage qui coupe un tableau en deux ou sépare une question de sa réponse rend l’information introuvable. Le bon découpage suit la logique du document.

Un exemple concret

1. Découpage naïf : tous les 500 mots, sans regarder le contenu. L’article 12 sur les pénalités est coupé au milieu ; la question « quelles pénalités en cas de retard ? » remonte la première moitié, qui ne contient pas le barème.
2. Découpage par structure : un fragment par article, avec le titre du document, le numéro et le titre de l’article en tête de chaque fragment. L’article 12 reste entier.
3. Chevauchement : chaque fragment reprend les deux dernières phrases du précédent, pour qu’une idée à cheval sur deux articles reste trouvable.
4. Résultat : sur 50 questions de test, le bon article remonte 46 fois au lieu de 31.

Rien n’a changé côté modèle. Seule la découpe a été refaite.

Ce que ça change pour une équipe

• La qualité des réponses dépend d’un réglage accessible. Pas besoin de changer de modèle ni de fournisseur : revoir le découpage suffit souvent à passer d’un assistant décevant à un assistant utile.
• La structure des documents compte. Des titres clairs, des paragraphes courts, des tableaux propres se découpent bien. C’est un argument de plus pour soigner la documentation.
• On peut tester avant de déployer. Cinquante questions réelles, les réponses attendues, et un tableau : le découpage se compare objectivement.
• Les documents vivent. Quand un document change, ses fragments sont remplacés. Un découpage par structure rend cette mise à jour simple.

Les limites et les erreurs fréquentes

• Garder le réglage par défaut. Longueur fixe, sans chevauchement, sans titre : c’est le réglage de la plupart des outils, et la première cause de réponses à côté.
• Perdre les métadonnées. Un fragment sans le nom du document, sa date et sa version ne permet ni de citer la source ni de savoir si elle est à jour.
• Découper les tableaux et les listes. Un tableau coupé en deux devient illisible. Ces éléments se gardent entiers, quitte à dépasser la taille cible.
• Ne pas tester. Le seul juge est la question réelle. Un découpage qui a l’air logique peut rater ce que les utilisateurs demandent vraiment.