Latence

Comment ça marche

Quand on envoie une demande à un modèle, il doit lire tout le contexte, puis produire la réponse mot à mot. Le temps de lecture dépend de la longueur du contexte ; le temps de production, de la longueur de la réponse et de la taille du modèle. S’y ajoutent le temps de réflexion pour un modèle de raisonnement, le temps de transport sur le réseau, et la charge du service du fournisseur, variable selon l’heure.

Dans un outil, ces latences s’additionnent : un agent qui fait dix tours met dix fois le temps d’un tour ; une chaîne de cinq étapes, cinq fois. Les leviers sont connus. Un modèle plus petit répond plus vite. Un contexte plus court se lit plus vite. Une réponse bornée en longueur se produit plus vite. Le cache accélère la lecture de ce qui se répète. Le streaming affiche la réponse dès les premiers mots. Les étapes parallèles plutôt que successives. Et un modèle local, bien dimensionné, évite le réseau et la file d’attente.

Un exemple concret

1. Le problème : l’assistant qui aide le réceptionniste à répondre aux clients met 12 secondes par réponse. Devant un client au comptoir, c’est intenable ; le réceptionniste ne s’en sert plus.
2. Diagnostic : grand modèle, une consigne de 3 000 tokens renvoyée à chaque fois, tout le règlement de l’hôtel dans le contexte, des réponses de 200 mots, pas de streaming.
3. Corrections : modèle moyen ; consigne réduite et mise en cache ; règlement indexé et seuls les passages utiles fournis ; réponses limitées à 60 mots ; affichage mot à mot.
4. Résultat : premier mot en moins d’une seconde, réponse complète en 2 secondes. Qualité jugée équivalente par les réceptionnistes sur 50 questions de test.
5. Bonus : la facture a été divisée par six. Les mêmes gestes réduisent latence et coût.

Le réceptionniste s’en sert à nouveau. Rien n’avait changé dans ce que l’assistant savait ; tout avait changé dans la façon de le faire répondre.

Ce que ça change pour une équipe

• Les outils en direct deviennent utilisables. Un temps de réponse court est la condition de l’adoption, avant la qualité.
• La conception intègre le temps. Modèle, contexte, longueur, cache, parallélisme : des choix qui se font en pensant à l’attente.
• Les mêmes leviers réduisent le coût. Moins de contexte, un modèle plus petit, du cache : plus rapide et moins cher.
• Le local a un argument de plus. Sur un serveur bien dimensionné, pas de réseau ni de file d’attente ; la latence est stable.

Les limites et les erreurs fréquentes

• Mesurer en test, pas en usage. La latence à 3 h du matin n’est pas celle de 11 h, et une démo sur une question courte ne dit rien d’un cas réel.
• Empiler les étapes en série. Dix étapes successives de deux secondes font vingt secondes. Ce qui peut se faire en parallèle se fait en parallèle.
• Le mode raisonnement par défaut. Il multiplie la latence pour des tâches qui n’en ont pas besoin.
• Oublier l’affichage progressif. Une réponse qui s’affiche dès le premier mot paraît deux fois plus rapide. Le streaming est gratuit.