Dans un échange sur Bluesky, Myriam Jessier a demandé à Google quels étaient les attributs clés d’un bon crawler, utile aussi bien pour le SEO que pour la recherche en IA. Deux figures de Google, Martin Splitt et Gary Illyes, ont répondu. Ils ont à la fois mis en avant des critères techniques et un nouveau cadre de bonnes pratiques publié par l’IETF.
En SEO, le crawl désigne l’exploration automatique d’un site web par un robot (appelé crawler ou spider).
Le rôle du crawler est de :
- Parcourir les pages en suivant les liens,
- Collecter le contenu (texte, images, métadonnées…),
- Transmettre ces informations aux moteurs de recherche pour les indexer.
La qualité et le comportement d’un crawler influencent directement la performance SEO d’un site et la justesse des résultats fournis aux utilisateurs ou aux systèmes d’IA.
Les recommandations de Martin Splitt
Martin Splitt (Google Search Relations) a listé les attributs essentiels d’un crawler “responsable” :
- Supporter HTTP/2 : pour optimiser la performance et la compatibilité avec les serveurs modernes.
- Déclarer son identité dans l’User-Agent : indispensable pour que les administrateurs sachent qui explore leur site.
- Respecter robots.txt : respecter les règles fixées par les sites pour l’exploration.
- S’adapter à la charge serveur (backoff) : réduire la fréquence des requêtes si le serveur ralentit.
- Suivre les directives de cache : éviter les téléchargements inutiles et optimiser la bande passante.
- Avoir un mécanisme de retry raisonnable : en cas d’erreur, retenter de manière adaptée sans surcharger le serveur.
- Suivre correctement les redirections : pour refléter la navigation réelle et éviter les impasses.
- Gérer les erreurs avec grâce : ne pas insister de manière agressive sur des pages problématiques.
L’apport de Gary Illyes : un cadre normatif
De son côté, Gary Illyes a renvoyé vers un nouveau document IETF sur les bonnes pratiques des crawlers, co-écrit (mais non au nom de Google). Ce texte vise à poser des standards clairs, couvrant notamment :
- Support et respect strict du protocole robots.txt.
- Identification transparente via l’User-Agent.
- Ne pas perturber le fonctionnement normal d’un site.
- Respect des directives de cache.
- Publication des plages d’IP utilisées dans un format standardisé.
- Page de transparence publique expliquant l’usage des données collectées et les moyens de blocage.
Pourquoi c’est important ?
Avec la montée des LLM et moteurs de recherche IA, de nouveaux crawlers apparaissent pour collecter du contenu web. Tous ne respectent pas forcément les standards du web, provoquant parfois surcharge serveur, non-respect des robots.txt, ou opacité sur l’usage des données collectées.
En publiant ces principes, Google met en avant une vision responsable et transparente de l’exploration web, qui protège à la fois les sites et les internautes, tout en garantissant des données fiables aux moteurs d’IA et de recherche.
Pour les éditeurs de sites
- Vérifiez dans vos logs si les crawlers respectent robots.txt et s’identifient clairement.
- Bloquez ou limitez l’accès aux crawlers non conformes.
- Surveillez l’impact serveur (latence, consommation de ressources) pour ajuster vos règles.
En résumé, un bon crawler doit être performant, transparent et respectueux, tant pour les sites explorés que pour l’écosystème numérique.
