Prompt caching (mise en cache)

Comment ça marche

À chaque requête, le modèle relit tout le contexte depuis le début, et chaque token lu est facturé. Dans un usage répétitif, l’essentiel du contexte ne change pas : la même consigne de deux pages, les mêmes exemples, le même document de référence, et seulement une question différente à la fin. Le prompt caching permet au fournisseur de garder en mémoire le traitement de cette partie stable, et de ne pas le refaire, ni le facturer plein tarif.

La condition est que la partie stable soit placée au début de la requête, identique au caractère près, et réutilisée dans un délai court. Les automatisations s’y prêtent naturellement : une consigne fixe, des documents de référence fixes, et des entrées qui changent. Les agents aussi : leur fichier de consignes et leurs outils sont relus à chaque tour. Bien organisé, le cache réduit la facture et accélère les réponses, sans changer les résultats.

Un exemple concret

1. La requête type : une consigne de 2 500 tokens, avec la description des 30 catégories et des exemples, puis l’e-mail à classer, 300 tokens en moyenne.
2. Le volume : 6 000 e-mails par mois, donc 6 000 relectures de la même consigne : 15 millions de tokens de consigne, contre 1,8 million d’e-mails.
3. Sans cache : la consigne représente près de 90 % des tokens facturés en entrée.
4. Avec cache : la consigne, placée en tête et identique, est facturée à tarif réduit. Le coût d’entrée est divisé par cinq ou six selon les tarifs en vigueur. Les e-mails, qui changent, restent plein tarif, mais ils pèsent peu.
5. Ce qu’il a fallu faire : vérifier que la consigne était strictement identique d’un appel à l’autre (une date dans l’en-tête l’invalidait chaque jour), et la placer avant l’e-mail.

Une heure de travail sur l’ordre et la stabilité de la consigne. La facture mensuelle a baissé de plus de moitié.

Ce que ça change pour une équipe

• Les consignes longues redeviennent abordables. On n’a plus à choisir entre une consigne complète et une facture raisonnable.
• Les documents de référence peuvent être fournis à chaque fois. La grille tarifaire, les conditions, le gabarit : en tête de chaque requête, en cache.
• Les agents coûtent moins. Leur fichier de consignes et la description de leurs outils, relus à chaque tour, sont les premiers candidats au cache.
• L’organisation de la demande devient un levier. Stable d’abord, variable ensuite : un principe simple, aux effets directs.

Les limites et les erreurs fréquentes

• Une variable au début. Une date, un identifiant, un nom glissé dans la consigne, et le cache ne sert plus à rien. Tout ce qui change va à la fin.
• Des requêtes trop espacées. Le cache a une durée de vie courte. Pour un usage occasionnel, il n’apporte rien.
• Supposer que c’est automatique partout. Chaque fournisseur a ses règles. On lit la documentation, et on vérifie sur la facture.
• Le prendre pour une mémoire. Le cache accélère et réduit le coût ; il ne retient rien entre deux conversations et ne change pas les réponses.