Inférence

Comment ça marche

Un modèle de langage, une fois entraîné, est un gros fichier de nombres. L’inférence, c’est le calcul qui, à partir de votre texte et de ces nombres, produit la réponse, un morceau à la fois. Chaque mot généré demande un passage complet à travers le modèle. Une réponse de 300 mots, c’est quelques centaines de passages.

C’est pour ça que l’inférence a un coût, un délai et des besoins matériels. Quand vous utilisez un assistant en ligne, cette inférence tourne sur les serveurs du fournisseur, qui vous la facture. Quand vous installez un modèle sur votre machine, c’est votre processeur qui fait le travail, et la vitesse dépend de lui.

Un exemple concret

1. Via un assistant en ligne. Vous collez un contrat de 10 pages et demandez les clauses de résiliation. Le fournisseur calcule la réponse sur ses serveurs en quelques secondes. Le contrat a transité chez lui.
2. Via l’API, dans un outil maison. Même calcul, mêmes serveurs, mais c’est votre outil qui envoie la demande et reçoit la réponse. Vous payez au token : ce contrat de 10 pages coûte quelques centimes.
3. En local, sur un serveur de l’entreprise. Un modèle ouvert installé sur une machine avec une carte graphique correcte lit le contrat et répond en une à deux minutes. Rien n’est sorti du réseau. La réponse est un peu moins fine.

Les trois sont de l’inférence. Ce qui change, c’est où le calcul a lieu, qui le paie, et où passent les données.

Ce que ça change pour une équipe

• Le coût de l’IA est un coût d’usage. Pas de licence à l’année : chaque question a un prix. Un outil utilisé par cinquante personnes dix fois par jour, ça se calcule avant de le déployer.
• La vitesse n’est pas la même partout. Un petit modèle répond en une seconde, un grand modèle en réflexion met une minute. Le choix se fait tâche par tâche.
• Le local devient réaliste. Pour des tâches de tri, de résumé ou d’extraction, un modèle qui tourne sur une machine de l’entreprise suffit souvent. Les données restent chez vous, et le coût marginal est nul.
• Le matériel compte à nouveau. Pour de l’inférence locale, la mémoire de la carte graphique décide de la taille du modèle qu’on peut faire tourner. C’est un achat à raisonner.

Les limites et les erreurs fréquentes

• Croire que ses données entraînent le modèle. Non : l’inférence ne modifie pas le modèle. Ce que fait le fournisseur de vos conversations relève de ses conditions, pas de la technique.
• Sous-estimer la facture à l’échelle. Quelques centimes par demande, c’est rien. Multiplié par une automatisation qui tourne toute la journée, ça devient une ligne de budget.
• Choisir le plus gros modèle pour tout. La plupart des tâches du quotidien se contentent d’un modèle moyen. Le grand modèle coûte dix fois plus pour un gain souvent invisible.
• Installer un modèle local sans mesurer la qualité. Le local rassure sur les données, mais un modèle trop petit pour la tâche produit des erreurs. Comparez sur vos propres documents avant de décider.