Indexation

Comment ça marche

Pour qu’un assistant réponde à partir des documents de l’entreprise, il faut d’abord que ces documents soient préparés. L’indexation enchaîne plusieurs étapes. La collecte : rassembler les sources depuis les dossiers, les outils, les bases. Le nettoyage : retirer les doublons, les versions périmées, les mises en page parasites. Le découpage en fragments, selon la structure des documents. Le calcul des embeddings de chaque fragment. Et le rangement dans une base vectorielle, avec les métadonnées : d’où vient le fragment, de quand, quelle version, qui a le droit de le voir.

Cet index est ce que l’assistant interroge à chaque question. Sa qualité fait celle des réponses, bien plus que le modèle de rédaction. Et il vit : quand un document change, ses fragments sont remplacés ; quand un document est retiré, ils disparaissent. Une indexation bien conçue se met à jour automatiquement ; une indexation faite une fois se périme en quelques mois.

Un exemple concret

1. Collecte : 1 400 fichiers trouvés dans trois espaces différents. Procédures, notes, formulaires, et beaucoup de choses qui n’en sont pas.
2. Nettoyage : avec les responsables, tri en une semaine. 380 documents retenus : à jour, validés, utiles. Le reste archivé hors index.
3. Découpage : par section, avec le titre du document et le numéro de version en tête de chaque fragment. Les tableaux gardés entiers.
4. Calcul et rangement : un modèle d’embedding multilingue, en local ; 6 200 fragments dans la base, chacun avec sa source, sa date, et le service autorisé à le lire.
5. Test : 60 questions réelles. 52 retrouvent le bon document en premier. Les 8 échecs mènent à trois documents mal structurés, réécrits.
6. Mise à jour : chaque nuit, les documents modifiés dans l’espace de référence sont réindexés. Un document retiré disparaît le lendemain.

Les 1 400 fichiers de départ auraient donné un assistant qui cite des procédures de 2019. Les 380 retenus donnent un assistant auquel on fait confiance.

Ce que ça change pour une équipe

• La documentation est triée. L’indexation force à décider ce qui fait référence. C’est un bénéfice en soi.
• Les réponses ont une source datée. Chaque fragment sait d’où il vient. L’assistant peut citer, et l’utilisateur vérifier.
• Les droits d’accès sont respectés. Les métadonnées permettent de ne montrer à chacun que ce qu’il peut voir.
• La maintenance est automatique. Un index branché sur l’espace de référence suit les mises à jour sans intervention.

Les limites et les erreurs fréquentes

• Tout indexer. Les doublons et les versions périmées remontent dans les réponses, et l’assistant devient douteux. Le tri est la moitié du travail.
• Oublier les métadonnées. Un fragment sans source ni date ne permet ni de citer ni de savoir s’il est à jour.
• Indexer une fois. Sans mise à jour automatique, l’index se périme en silence. La mise à jour se conçoit avec l’index.
• Ignorer les droits. Un index unique pour toute l’entreprise répond à tout le monde sur tout. Les permissions se posent à l’indexation.