Google a restructuré le 6 octobre sa documentation consacrée à la réduction du crawl. Le moteur y ajoute des explications et des exemples pour l’en-tête HTTP Retry-After. Sa prise en charge existait déjà, mais elle apparaissait seulement dans le guide consacré à la mise hors ligne temporaire d’un site.
Trois codes permettent de réduire le crawl
Lorsqu’un site doit réduire rapidement le trafic de Google, la documentation recommande de répondre aux requêtes des robots avec un code 500, 503 ou 429 à la place du code 200.
Le code 503 signale une indisponibilité temporaire du service. Le code 429 indique que le serveur reçoit trop de requêtes. Google interprète un nombre important de ces réponses comme une surcharge temporaire du serveur et diminue son activité.
Cette procédure répond à une situation d’urgence. Elle ne remplace pas le travail consacré au budget de crawl, qui porte sur l’organisation durable de l’exploration.
Google accepte aussi le code 500, mais réserve dans son guide l’usage de Retry-After aux réponses 503 et 429. L’en-tête constitue un signal adressé aux crawlers pour fixer leur prochaine tentative.
Retry-After accepte deux formats
Le premier format utilise un délai exprimé en secondes.
HTTP/1.1 503 Service Unavailable
Retry-After: 120La valeur 120 demande au crawler d’attendre deux minutes avant un retour.
Le second format fournit une date absolue en UTC.
HTTP/1.1 503 Service Unavailable
Retry-After: Wed, 21 Oct 2026 07:28:00 GMTGooglebot peut donc recevoir soit une durée, soit une date et une heure précises. Cette indication complète les autres méthodes HTTP utilisées par Googlebot lors de ses échanges avec les serveurs.
La réduction concerne tout le nom d’hôte
Lorsque Google rencontre suffisamment de réponses 500, 503 ou 429, il réduit le crawl sur tout le nom d’hôte concerné. La baisse touche les URL qui renvoient une erreur comme celles qui continuent à fournir leur contenu.
Google indique que la fréquence remonte automatiquement ensuite, une fois le nombre d’erreurs revenu à la normale. L’analyse des journaux serveur permet de suivre cette évolution et d’identifier les sections les plus sollicitées.
Pendant cette période, Googlebot découvre moins de pages nouvelles et actualise moins souvent les URL déjà connues. Cette baisse peut donc allonger les délais de crawl et d’indexation, notamment pour les prix, les stocks ou les pages récemment supprimées.
Une mesure limitée à quelques jours
Google réserve cette méthode à une période de courte durée, de quelques heures à un ou deux jours. Des erreurs maintenues plusieurs jours sur une même adresse peuvent conduire le moteur à retirer certaines URL de l’index.
Le contenu reçu par le robot reste déterminant. Une panne ou une réponse incorrecte peut modifier ce que Googlebot reçoit réellement, même si la page paraît normale pour les visiteurs.
La réduction peut aussi toucher les autres produits qui utilisent l’infrastructure de crawl de Google. Le document mentionne notamment le risque de suspension des campagnes ou de non-diffusion des annonces dans Google Ads.
Lorsqu’un serveur ne peut pas renvoyer ces codes aux crawlers, le propriétaire du site peut transmettre une demande exceptionnelle à Google et préciser la fréquence souhaitée. Ce formulaire ne permet pas de demander une hausse du crawl et son traitement peut prendre plusieurs jours.
