Modèle local (LLM local)

Comment ça marche

Un modèle local, c’est un modèle de langage installé sur un ordinateur ou un serveur que vous contrôlez. Vous téléchargez le modèle, un fichier de quelques gigaoctets, un logiciel comme Ollama le fait tourner, et vos équipes l’interrogent depuis une interface interne. Aucune donnée ne quitte votre réseau. Aucun abonnement. Aucune limite de requêtes autre que la puissance de la machine.

Les modèles disponibles sont ceux publiés avec leurs poids : Mistral, Llama, Qwen, Gemma et d’autres, dans des tailles allant du modèle qui tient sur un portable à celui qui demande un serveur dédié. Pour tourner sur du matériel courant, on les utilise souvent en version compressée, dite quantifiée. Et on les branche sur les documents de l’entreprise par une base vectorielle, pour qu’ils répondent sur vos données et non de mémoire.

Un exemple concret

1. Le besoin : interroger 20 ans de dossiers et de modèles d’actes, sans qu’aucun document ne sorte du cabinet.
2. Le matériel : un serveur avec une carte graphique professionnelle, installé dans le local technique. Budget d’un ordinateur haut de gamme.
3. Le logiciel : un modèle ouvert de taille moyenne, un modèle d’embedding multilingue, une base vectorielle, et une interface de chat interne. Le tout sur le serveur.
4. La mise en place : deux semaines pour nettoyer et indexer les documents, une semaine de tests sur 60 questions réelles posées par les avocats, et quelques réglages de découpage.
5. Le résultat : des réponses sourcées en quelques secondes, avec le lien vers l’acte d’origine. Les avocats gardent leur assistant en ligne pour la rédaction courante, sans données clients.

Le modèle local n’a pas remplacé l’assistant en ligne. Il a pris la part du travail qui ne pouvait pas sortir.

Ce que ça change pour une équipe

• Les données sensibles deviennent accessibles à l’IA. Dossiers clients, RH, R&D, financier : tout ce qui était exclu des assistants en ligne peut être traité en interne.
• Le coût marginal est nul. Une fois la machine achetée, chaque requête ne coûte que de l’électricité. Les automatisations à gros volume deviennent très économiques.
• L’entreprise maîtrise la chaîne. Pas de changement de conditions, de modèle retiré ou de hausse de tarif imposés. Le modèle installé reste celui que vous avez validé.
• Il faut une compétence interne ou un partenaire. Installer, mettre à jour, surveiller, mesurer la qualité : c’est un système à faire vivre.

Les limites et les erreurs fréquentes

• Choisir un modèle trop petit pour la tâche. Rassuré par la confidentialité, on oublie de mesurer la qualité. Un modèle qui se trompe une fois sur cinq sur des questions juridiques est dangereux. Tester sur ses propres questions avant de déployer.
• Sous-dimensionner la machine. Un modèle qui met une minute à répondre ne sera pas utilisé. Le nombre d’utilisateurs simultanés et la taille du modèle décident du matériel.
• Négliger la mise à jour. Les modèles ouverts progressent vite. Un modèle installé en janvier est dépassé en été. Prévoir des réévaluations.
• Croire que le local dispense des règles. Les données restent chez vous, mais qui peut interroger quoi, et ce qu’on fait des réponses, se décide toujours.