Computer use (ordinateur piloté)

Comment ça marche

L’agent reçoit une capture de l’écran, la lit comme une image, décide d’une action, cliquer ici, taper cela, faire défiler, et l’exécute. Puis il reprend une capture et recommence. Il peut ainsi ouvrir un logiciel, naviguer dans ses menus, remplir un formulaire, lire un résultat, exactement comme le ferait une personne. Aucune intégration n’est nécessaire : si on peut le faire à la souris, l’agent peut essayer.

Le prix de cette universalité est élevé. Chaque action demande d’analyser une image, donc beaucoup de tokens et plusieurs secondes. Une tâche de deux minutes pour un humain peut prendre vingt minutes à l’agent et coûter plus qu’un traitement par API ne coûterait en un mois. Et les risques sont ceux d’un humain distrait avec vos accès : mauvais bouton, mauvaise fenêtre, instruction cachée dans un contenu affiché. D’où le cadre : machine dédiée, comptes limités, surveillance.

Un exemple concret

1. Le problème : le logiciel de gestion, ancien, n’a ni API ni import. Chaque commande reçue par e-mail est ressaisie à la main, 40 par jour, deux heures.
2. La solution testée : un agent qui lit la commande (déjà structurée par un autre agent) et la saisit dans le logiciel en pilotant l’écran, sur une machine dédiée, avec un compte limité à la saisie.
3. Les résultats : 90 % des commandes saisies correctement, trois minutes chacune, coût d’une vingtaine de centimes par commande. Les 10 % restants, souvent des commandes avec des articles inconnus, sont renvoyés à un humain.
4. Le cadre : la machine n’a accès à rien d’autre, le compte ne peut pas valider ni supprimer, et une personne vérifie chaque matin les saisies de la veille dans le logiciel.
5. Et ensuite : le projet de remplacement du logiciel est avancé. L’agent est une solution de transition, pas une cible.

Deux heures de saisie sont devenues vingt minutes de vérification. Le jour où le logiciel aura une API, l’agent sera remplacé par un connecteur dix fois plus rapide.

Ce que ça change pour une équipe

• Plus aucun logiciel n’est hors de portée. Les outils anciens, fermés, sans intégration possible, deviennent automatisables, au moins partiellement.
• La ressaisie peut disparaître. Le travail le plus ingrat et le plus source d’erreurs est le premier candidat.
• Le cadre devient non négociable. Machine isolée, compte limité, surveillance : sans ça, c’est un risque inacceptable.
• C’est une solution de transition. Elle sert en attendant mieux, et révèle quels logiciels méritent d’être remplacés.

Les limites et les erreurs fréquentes

• L’utiliser quand une API existe. Dix fois plus lent, dix fois plus cher, dix fois moins fiable que le connecteur. On vérifie d’abord.
• Lui donner sa propre session. L’agent voit tout ce qui est à l’écran et peut agir sur tout ce qui est ouvert. Une machine ou une session dédiée, avec rien d’autre.
• Le laisser sans surveillance. Une erreur d’interprétation d’écran se propage. Tâches courtes, vérification systématique, arrêt facile.
• Ignorer ce qui s’affiche. Un e-mail ou une page affichés à l’écran peuvent contenir des instructions destinées à l’agent. Les comptes sans droits d’action irréversible sont la seule protection solide.