Modèle multimodal

Comment ça marche

Un modèle de langage classique ne lit que du texte. Un modèle multimodal reçoit aussi des images, et pour certains du son et de la vidéo, qu’il traite dans le même espace de représentation que le texte. On peut donc lui montrer une photo et lui poser une question en français : « que dit ce panneau ? », « ce schéma électrique a-t-il une anomalie ? », « remplis ce tableau à partir de ce formulaire scanné ».

Pour une entreprise, ça ouvre tout ce qui n’est pas du texte propre : les photos prises sur un chantier, les captures d’écran d’un logiciel, les documents papier, les graphiques d’un rapport, les plans. Le modèle les lit, les décrit, en extrait des données. Avec les réserves habituelles : la qualité de l’image conditionne la lecture, les détails fins peuvent être ratés, et le modèle peut interpréter avec assurance ce qu’il voit mal. La vérification s’adapte au support.

Un exemple concret

1. Photos de terrain : le technicien photographie la plaque d’un équipement ; le modèle en extrait la référence, le numéro de série et l’année, et les écrit dans le rapport d’intervention. Vérifié par le technicien d’un coup d’œil.
2. Schémas : un schéma hydraulique photographié ; le modèle l’explique à un technicien junior, composant par composant. Utile, avec un senior en relecture pour les cas critiques.
3. Documents papier : les bons de livraison manuscrits des fournisseurs ; le modèle les lit et les structure. 85 % de lecture correcte sur le manuscrit ; les 15 % restants signalés par les contrôles de cohérence.
4. Captures d’écran : une alarme sur l’écran d’un automate, photographiée ; le modèle identifie le code et renvoie vers la procédure correspondante dans la documentation.

Les quatre usages existaient en version « retaper à la main ». Ils ont disparu en deux mois, avec un contrôle adapté à chacun.

Ce que ça change pour une équipe

• Le terrain entre dans l’IA. Ce qui se photographie se traite : plaques, documents, écrans, schémas.
• La saisie depuis le papier disparaît. Photographier et laisser lire, puis vérifier, remplace recopier.
• L’expertise se diffuse. Un schéma expliqué, une alarme interprétée : le junior progresse, le senior est moins sollicité.
• Les contrôles s’adaptent au support. Une image mal lue se détecte par la cohérence des données extraites, pas en relisant l’image.

Les limites et les erreurs fréquentes

• Faire confiance à une lecture d’image. Le modèle lit avec assurance une plaque floue. Contrôles de cohérence et vérification sur ce qui compte.
• Envoyer n’importe quelle image. Une photo contient parfois des personnes, des documents, des informations sensibles en arrière-plan. La charte s’applique aux images.
• Négliger la qualité de la prise de vue. Une photo nette, cadrée, bien éclairée divise les erreurs. Une consigne de prise de vue vaut un meilleur modèle.
• Attendre du modèle une expertise visuelle. Il décrit et interprète ; il ne remplace pas l’œil d’un expert sur un défaut de soudure ou un diagnostic. Il prépare, l’expert tranche.