Batch (traitement par lots)

Comment ça marche

Quand on appelle un modèle en direct, il répond en quelques secondes, et le fournisseur mobilise ses machines pour ça. Beaucoup de traitements n’ont pas besoin de cette immédiateté : classer un stock de documents, résumer un an d’archives, réécrire mille fiches produits, générer des rapports de nuit. Le traitement par lots consiste à envoyer toutes ces demandes en une fois, et à laisser le fournisseur les traiter quand ses machines sont disponibles, en échange d’un tarif réduit.

Concrètement, on constitue un fichier de requêtes, on le soumet, et on récupère les résultats quelques heures plus tard, chacun relié à sa requête par un identifiant. Le lot contourne aussi les limites de débit : pas de rafale à lisser, pas de refus à gérer. C’est le mode naturel des traitements de masse et des tâches planifiées. Il demande seulement d’accepter d’attendre, et d’organiser la reprise des résultats.

Un exemple concret

1. Le besoin : rendre 15 ans d’archives interrogeables, avec un résumé et des mots-clés par document, avant de les indexer.
2. En direct : 12 000 requêtes à lisser sur plusieurs jours pour respecter les limites, au tarif plein, avec un script qui doit gérer les refus et les reprises. Estimation : plusieurs centaines d’euros et une semaine de surveillance.
3. En lots : 12 fichiers de 1 000 requêtes, soumis un soir. Résultats disponibles le lendemain matin. Tarif à moitié prix. Aucune limite de débit à gérer.
4. La reprise : un script lit les résultats, les relie aux documents, signale les 40 cas où le modèle a répondu « contenu illisible » (des scans ratés), et lance l’indexation.
5. Depuis : chaque nuit, les documents de la journée partent en lot. Le coût mensuel est négligeable.

Le projet avait été repoussé deux fois pour son coût. En lots, il a tenu dans le budget d’un mois de licences.

Ce que ça change pour une équipe

• Les traitements de masse deviennent abordables. Reprises d’archives, enrichissements de catalogues, analyses de corpus : la moitié du prix change les décisions.
• Les limites de débit disparaissent. Pas de rafale, pas de refus, pas de script de reprise compliqué.
• Le travail se planifie. Le lot part le soir, les résultats sont là le matin. Le rythme de l’entreprise, pas celui du fournisseur.
• La facture se lisse. Les gros traitements ponctuels ne font plus de pics.

Les limites et les erreurs fréquentes

• Utiliser le lot pour de l’interactif. Un utilisateur qui attend ne peut pas attendre quatre heures. Le lot est pour ce qui tourne sans personne.
• Oublier les identifiants. Mille résultats sans savoir à quelle requête ils correspondent. Chaque requête a son identifiant, dès le fichier d’envoi.
• Ne pas prévoir les échecs partiels. Un lot peut revenir avec quelques requêtes en erreur. On les détecte et on les relance, dans un lot suivant.
• Croire que tous les fournisseurs le proposent. Pas tous, et pas aux mêmes conditions. On vérifie avant de concevoir le traitement.