GPU et puces d’IA

Comment ça marche

Les processeurs graphiques, conçus à l’origine pour les jeux vidéo, se sont révélés parfaits pour l’IA : des milliers d’unités de calcul qui font la même opération en parallèle, exactement ce que demandent les réseaux de neurones. Les puces spécialisées, chez NVIDIA, Google, Apple et d’autres, poussent cette logique. Leur capacité et leur mémoire décident de la taille des modèles qu’on peut entraîner et faire tourner.

Leur rareté et leur prix structurent toute l’économie de l’IA. L’entraînement des grands modèles mobilise des dizaines de milliers de puces ; l’usage, des centaines de milliers. D’où les coûts, les files d’attente et les limites de débit. Pour une entreprise, la question est plus modeste : quelle machine pour faire tourner un modèle local ? La réponse tient dans la mémoire de la carte : un modèle compressé demande environ un gigaoctet par milliard de paramètres, plus de la marge pour le contexte et les utilisateurs simultanés.

Un exemple concret

1. Quel modèle ? Après tests, un modèle de 27 milliards de paramètres en 4 bits : environ 16 gigaoctets.
2. Combien d’utilisateurs en même temps ? 15 collaborateurs, rarement plus de 3 requêtes simultanées. Il faut de la mémoire pour les contextes de ces 3 requêtes : quelques gigaoctets de plus.
3. Quelle machine ? Une carte de 24 gigaoctets suffit tout juste ; une de 48 laisse de la marge pour un modèle plus grand l’an prochain. Choix : la 48, dans un serveur acheté, pour un budget comparable à une voiture d’occasion.
4. Validation : une semaine de location d’une machine équivalente avant l’achat, pour vérifier les temps de réponse en usage réel. Deux secondes par réponse, acceptable.
5. Amortissement : trois ans. Le coût mensuel est inférieur à la consommation API qu’il remplace pour les usages sensibles.

Le cabinet a failli acheter une carte de 24 gigaoctets « parce que ça tenait ». La semaine de location a montré que ça tenait sans marge.

Ce que ça change pour une équipe

• Le matériel se dimensionne simplement. Taille du modèle compressé, plus marge pour le contexte et les utilisateurs : le calcul tient sur une ligne.
• La location permet d’essayer. Avant d’acheter, une semaine de location valide le choix sur de vrais usages.
• Le coût de l’IA s’explique. Les tarifs, les files d’attente, les limites : tout vient de la rareté de ces puces.
• Le local a un prix d’entrée connu. Du portable pour essayer au serveur pour l’équipe, les ordres de grandeur sont clairs.

Les limites et les erreurs fréquentes

• Acheter sans tester. Une machine qui « devrait suffire » et qui rame en usage réel. La location d’une semaine évite ça.
• Regarder la puissance et pas la mémoire. Pour faire tourner un modèle, c’est la mémoire de la carte qui compte d’abord.
• Oublier les utilisateurs simultanés. Un serveur dimensionné pour une requête à la fois s’effondre à trois.
• Surdimensionner par peur. Deux cartes professionnelles pour un modèle de 8 milliards de paramètres. Le test dit ce qu’il faut ; le reste est du gaspillage.