Scraping (extraction web)

Comment ça marche

Le scraping, c’est un programme qui visite des pages web et en extrait des informations : les prix d’un concurrent, les offres d’emploi d’un secteur, les publications d’un organisme, les avis sur un produit. Classiquement, le programme lit la structure de la page et va chercher les éléments à des emplacements précis, ce qui casse dès que le site change. Avec l’IA, le programme donne la page à un modèle et lui demande les informations voulues ; le modèle les trouve quelle que soit la mise en page.

La suite est de la veille : les informations extraites sont structurées, comparées à la collecte précédente, résumées, et les changements notables remontent. Le cadre compte autant que la technique. Les conditions des sites, le droit des bases de données et le RGPD limitent ce qu’on peut collecter et faire. Et la courtoisie technique, respecter les règles du site, espacer les requêtes, ne pas surcharger, évite d’être bloqué et de nuire.

Un exemple concret

1. Le cadre : vérification des conditions des douze sites ; deux les interdisent explicitement et sont exclus. Pour les dix autres, données publiques (prix affichés), pas de données personnelles, une visite par jour, aux heures creuses.
2. La collecte : chaque nuit, un programme visite les pages de 200 produits de référence, et donne chaque page à un modèle qui en extrait prix, disponibilité et promotion éventuelle, dans un format structuré.
3. L’analyse : comparaison avec la veille, signalement des écarts de plus de 5 %, résumé hebdomadaire des mouvements par concurrent.
4. Le résultat : un tableau de bord consulté chaque matin par le responsable des achats, et une note le lundi.
5. L’incident : un site a changé toute sa mise en page en avril. Le programme classique précédent aurait cassé ; le modèle a continué à trouver les prix sans modification.

Avant, un stagiaire passait une journée par semaine à relever les prix, sur quatre sites. La veille couvre dix sites, chaque jour, et personne n’y passe plus de temps.

Ce que ça change pour une équipe

• La veille devient systématique. Ce qui était fait quand on avait le temps est fait chaque jour.
• Les sites qui changent ne cassent plus la collecte. L’extraction par modèle s’adapte à la mise en page.
• L’information est analysée, pas seulement collectée. Les changements remontent ; le reste ne dérange personne.
• Le cadre se décide avant. Quels sites, quelles données, quelle fréquence, pour quel usage : des questions à régler, et à écrire.

Les limites et les erreurs fréquentes

• Collecter des données personnelles. Noms, profils, contacts : le RGPD s’applique pleinement, et la collecte sans base légale est une infraction. On s’en tient aux données non personnelles, ou on encadre sérieusement.
• Ignorer les conditions des sites. Une interdiction explicite ne se contourne pas. On exclut le site, ou on demande.
• Surcharger. Des milliers de requêtes en rafale nuisent au site et font bloquer l’adresse de l’entreprise. Espacer, limiter, respecter les règles.
• Faire confiance à l’extraction. Un modèle peut lire un prix barré comme le prix courant. Des contrôles de cohérence, et un échantillon vérifié.