Routage de modèles

Comment ça marche

Tous les appels à un modèle ne se valent pas. Classer un e-mail en cinq catégories demande peu ; rédiger une proposition commerciale demande beaucoup. Pourtant, par défaut, tout passe par le même modèle, souvent le plus cher. Le routage consiste à placer, avant l’appel, une décision : cette demande va au petit modèle, celle-là au moyen, celle-ci au grand. Automatiquement, selon des règles.

Les règles les plus efficaces sont les plus simples. Par type de tâche : les étapes de tri et d’extraction d’un workflow vont au petit modèle, les étapes de rédaction au moyen. Par taille : une entrée courte va au petit, une longue au grand. Par échec : le petit modèle essaie, et s’il signale un doute ou une erreur de format, le grand reprend. Avec des règles écrites et un jeu de test pour vérifier que la qualité tient, le routage est l’optimisation la plus rentable qui existe.

Un exemple concret

1. Règle 1, par étape : la classification de l’e-mail et l’extraction des références vont au petit modèle. 100 % des e-mails passent par là.
2. Règle 2, par difficulté : si la classification est « question simple » ou « suivi de commande », la rédaction de la réponse va au modèle moyen. 70 % des e-mails.
3. Règle 3, par escalade : si la classification est « réclamation » ou « cas complexe », ou si le petit modèle a répondu « incertain », l’e-mail entier va au grand modèle, avec plus de contexte. 30 % des e-mails.
4. Résultat sur le jeu de test de 200 e-mails : qualité des réponses identique à celle obtenue avec le grand modèle partout, sur 196 cas. Coût divisé par quatre.
5. Suivi : le taux d’escalade est surveillé. S’il monte, c’est que les e-mails changent, ou que le petit modèle a été mis à jour ; on rejoue le test.

Trois règles, écrites en une matinée dans l’outil d’automatisation. La facture a baissé dès le mois suivant.

Ce que ça change pour une équipe

• Le coût se décorrèle du volume. Plus d’usages ne veut plus dire proportionnellement plus de dépense, si le gros du volume est simple.
• La qualité ne baisse pas. Le grand modèle reste là pour ce qui le mérite. Le routage retire les tâches simples de son assiette, pas les difficiles.
• La vitesse augmente. Les petits modèles répondent en une fraction de seconde. Les automatisations à volume en profitent.
• La conception s’affine. Pour router, il faut avoir pensé les étapes et leurs besoins. C’est une bonne chose en soi.

Les limites et les erreurs fréquentes

• Router sans tester. On suppose que le petit modèle suffit ; il ne suffit pas sur un type de cas, et personne ne le voit. Le jeu de test, avant et après.
• Des règles trop fines. Vingt règles, un classificateur complexe, et plus personne ne sait où va quoi. Trois règles, lisibles.
• Oublier l’escalade. Un petit modèle qui ne peut pas passer la main produit des erreurs sur les cas qu’il ne maîtrise pas. La sortie « incertain » et le renvoi au grand modèle sont essentiels.
• Ne jamais revoir. Les petits modèles progressent vite. Un routage conçu il y a un an envoie peut-être au grand modèle des tâches que le petit fait très bien aujourd’hui.