Token

Comment ça marche

Un modèle de langage ne lit pas des mots : il lit des tokens, des fragments de texte d’une longueur variable, définis une fois pour toutes par le fournisseur. « Facture » est un token ; « refacturation » en fait peut-être trois. Tout ce que vous envoyez est converti en tokens, le modèle produit sa réponse token par token, et tout ce qu’il produit est compté de la même façon.

C’est l’unité de tout. La fenêtre de contexte, la quantité maximale que le modèle peut lire d’un coup, se mesure en tokens. Le prix d’une requête se calcule en tokens envoyés et en tokens produits. La vitesse de réponse s’exprime en tokens par seconde. Comprendre le token, c’est comprendre pourquoi une conversation longue ralentit, pourquoi un document de cent pages ne rentre pas, et pourquoi la facture a doublé.

Un exemple concret

1. Le contrat : 22 pages, environ 11 000 mots, soit à peu près 15 000 tokens envoyés.
2. La consigne : 120 mots, 170 tokens. Négligeable face au contrat.
3. La réponse : une synthèse de 600 mots, environ 850 tokens produits.
4. Le coût : avec un modèle de milieu de gamme facturé quelques euros par million de tokens en entrée et un peu plus en sortie, cette analyse coûte de l’ordre de quelques centimes. Avec le modèle le plus puissant, dix fois plus. Pour 200 contrats par mois, la différence se voit.
5. L’optimisation : si la même consigne et les mêmes conditions générales sont envoyées à chaque fois, le cache divise le coût de cette partie par dix.

Les tarifs changent souvent ; les ordres de grandeur, moins. Ce qui compte, c’est de savoir où vont les tokens.

Ce que ça change pour une équipe

• Le coût devient prévisible. Tokens par requête, requêtes par jour, tarif du modèle : trois nombres suffisent à estimer un budget avant de déployer.
• On comprend les limites. Un document qui « ne passe pas », une conversation qui « oublie » le début : c’est la fenêtre de contexte, en tokens. On découpe ou on résume.
• Le choix du modèle devient un choix de coût. Le même travail coûte dix à vingt fois plus cher selon le modèle. Pour les tâches simples, le petit modèle suffit.
• La sobriété se mesure. Moins de tokens, c’est moins cher et moins d’énergie. Le suivi des tokens par usage est le tableau de bord le plus simple du FinOps et du GreenOps.

Les limites et les erreurs fréquentes

• Envoyer le document entier pour une question sur un paragraphe. Un extrait coûte dix fois moins et donne souvent une meilleure réponse.
• Répéter le contexte à chaque requête sans cache. Les consignes et documents fixes renvoyés à chaque appel sont le premier poste de dépense évitable.
• Ignorer les tokens produits. Ils coûtent plus cher que ceux envoyés. Demander des réponses longues par défaut gonfle la facture.
• Raisonner sur une requête. Quelques centimes, c’est rien. Multiplié par une automatisation qui tourne toute la journée, c’est une ligne de budget. Toujours compter à l’échelle.