Sommaire
La version 7.0 du Log File Analyser de Screaming Frog introduit la vérification des bots IA. Une évolution qui permet de fiabiliser l’analyse des logs dans un contexte où les crawlers se multiplient.
La vérification des bots IA devient centrale
Screaming Frog ajoute la vérification des bots IA dans son Log File Analyser. Comme pour les moteurs de recherche, il devient possible de confirmer qu’un crawler est authentique et non usurpé. La vérification peut se faire lors de l’import des logs ou après coup.
L’outil s’appuie sur plusieurs méthodes, comme les plages IP, le reverse DNS ou les ASN, pour valider l’identité des bots.
Un enjeu de fiabilité dans l’analyse des logs
L’identification des crawlers ne repose pas uniquement sur le user agent. Certains bots peuvent se faire passer pour des crawlers connus. Sans vérification, ils peuvent fausser la lecture des logs. La nouveauté permet donc de :
- isoler les bots réellement vérifiés,
- repérer les crawlers potentiellement spoofés,
- travailler sur des données plus fiables.
C’est un point important pour analyser correctement le comportement de crawl.
Une lecture simplifiée avec les regroupements de bots
Avec la multiplication des crawlers, l’outil introduit aussi des regroupements de user agents. Il devient possible de filtrer facilement les bots de moteurs de recherche ou les bots IA.
Ces regroupements apparaissent aussi dans les statistiques globales, ce qui permet d’évaluer rapidement leur part dans le crawl.
Identifier les user agents inconnus
Une nouvelle option permet d’inclure les user agents non reconnus dans l’analyse. Cela permet de détecter de nouveaux bots, d’identifier des crawlers atypiques et, si nécessaire, de décider de les surveiller ou de les bloquer.
Ces user agents peuvent ensuite être ajoutés à la liste pour un suivi plus précis.
Une personnalisation avancée de la vérification
L’outil permet désormais de configurer la vérification pour des user agents spécifiques. Il est possible d’ajouter :
- des plages IP,
- des sources JSON,
- des règles de vérification.
Des améliorations orientées analyse
La version 7.0 introduit aussi plusieurs évolutions utiles pour l’analyse :
- graphiques temporels pour suivre les variations,
- export direct vers Google Sheets,
- import de sitemaps pour croiser les données,
- amélioration des performances et des filtres.
Ces ajouts facilitent la lecture des logs sur des volumes importants.
L’avis de Position Zéro
Cloudflare a introduit des mécanismes pour contrôler l’accès des bots IA via robots.txt, avec des signaux distincts selon l’usage du contenu. De son côté, Google rappelle que ses crawlers et fetchers répondent à des objectifs différents, ce qui rend la lecture par user agent moins évidente.
La vérification des bots prend donc une dimension plus stratégique. Elle ne sert plus seulement à compter les passages dans les logs, mais à distinguer les accès utiles au search, ceux liés aux systèmes d’IA et les crawlers à surveiller ou à bloquer.
À mesure que les règles d’accès au contenu se précisent, l’analyse des logs devient donc aussi un levier de pilotage éditorial et technique.
