Notion · Faire agir l’IA
Observabilité d’un agent
Pouvoir voir ce qu’un agent a fait, pourquoi, et combien ça a coûté. Sans ça, impossible de lui faire confiance ni de corriger ses erreurs.
Comment ça marche
Un agent qui tourne est une boîte noire si on ne regarde pas dedans. Il a lu des fichiers, appelé des outils, pris des décisions, consommé des tokens, et rendu un résultat. L’observabilité consiste à enregistrer tout ça, et à le rendre lisible : une trace par tâche, où chaque tour, chaque outil et chaque coût apparaît, et des tableaux de bord qui agrègent : combien de tâches, combien réussies, combien coûtent-elles, où ça échoue.
C’est ce qui rend trois choses possibles. Déboguer : quand une tâche a produit un mauvais résultat, la trace montre à quel tour et pourquoi. Faire confiance : un agent dont on peut relire le travail se laisse déléguer davantage. Et piloter : les coûts, les taux d’échec, les outils qui posent problème se voient, et se traitent avant qu’ils ne deviennent des incidents. Les outils d’agents proposent des traces ; les mettre en forme et les regarder est le travail de l’équipe.
Un exemple concret
- Chaque tâche a une ligne : identifiant, heure, nombre de tours, outils appelés, tokens, coût, durée, résultat (terminé, renvoyé à un humain, échec), et un lien vers la trace complète.
- Chaque semaine : 340 tâches, 91 % terminées seules, 7 % renvoyées, 2 % en échec. Coût moyen 4 centimes, maximum 1,10 euro. Durée moyenne 40 secondes.
- Ce que le tableau a montré en mars : le taux de renvoi est passé à 15 % en une semaine. Les traces montrent que l’outil de lecture des pièces jointes échouait sur un nouveau format de PDF. Corrigé en un jour.
- Ce qu’il a montré en mai : cinq tâches à plus d’un euro. Toutes concernent un fournisseur dont les documents font 80 pages. Une règle de découpage a été ajoutée pour ce cas.
Sans le tableau, le problème de mars aurait été découvert par les plaintes des fournisseurs, celui de mai par la facture de fin de mois.
Ce que ça change pour une équipe
- Les problèmes se voient avant les plaintes. Un taux qui bouge, un coût qui monte : le tableau le dit en jours, pas en semaines.
- Les erreurs s’expliquent. Une trace tour par tour remplace les hypothèses. On corrige la cause, pas le symptôme.
- Les coûts se pilotent. Par agent, par tâche, par outil : on sait où va l’argent, et quoi optimiser.
- La confiance se construit. Un responsable qui peut relire ce que l’agent a fait délègue davantage. Un auditeur aussi.
Les limites et les erreurs fréquentes
- Tracer après l’incident. L’observabilité se met en place avant la production. Après, on ne sait pas ce qui s’est passé.
- Enregistrer sans regarder. Des traces que personne ne consulte ne servent à rien. Un tableau de bord, un responsable, un rythme.
- Oublier les données dans les traces. Une trace contient ce que l’agent a lu. Elle se protège, se purge, et parfois s’anonymise.
- Tracer sans identifiant de tâche. Des milliers d’événements en vrac, impossibles à relier. Chaque tâche a son identifiant, de bout en bout.
Pour aller plus loin
L’observabilité trace chaque appel de modèle, chaque outil utilisé, les tokens consommés et les décisions prises. Elle alimente l’évaluation, le débogage et la conformité, et se met en place avant la mise en production.
Où ça se situe chez Opora
Programme 04 · Construire des agentsIngénierie agentique pour les équipes techniques
Mettre en place la trace et le tableau de bord d’un agent avant sa mise en production, c’est une étape obligatoire du programme Construire des agents.
Questions fréquentes
Observabilité, journalisation, c’est pareil ?
La journalisation enregistre les événements : tel appel, telle action, telle erreur. L’observabilité, c’est pouvoir répondre à des questions à partir de ces enregistrements : pourquoi cette tâche a-t-elle échoué, combien coûte cet agent par semaine, quel outil échoue le plus souvent. La journalisation est la matière ; l’observabilité, l’usage qu’on en fait.
Que faut-il tracer ?
Pour chaque tâche : la demande, chaque tour de la boucle, chaque appel d’outil avec ses paramètres et son résultat, les tokens consommés, la durée, le résultat final, et les erreurs. Avec un identifiant par tâche, pour tout retrouver. C’est beaucoup ; c’est ce qui permet de comprendre.
Est-ce que ça pose un problème de données ?
Oui, potentiellement : les traces contiennent ce que l’agent a lu et écrit, donc parfois des données personnelles ou confidentielles. Les traces se protègent comme les données qu’elles contiennent : accès restreint, durée de conservation, et parfois anonymisation.