
Google précise comment ralentir ses crawlers en urgence
Google documente désormais l’usage de l’en-tête HTTP Retry-After avec les réponses 503 et 429. Il permet d’indiquer à ses crawlers quand revenir après une surcharge temporaire.
Couverture, exclusions, canonicals, directives et diagnostic Search Console.

Google documente désormais l’usage de l’en-tête HTTP Retry-After avec les réponses 503 et 429. Il permet d’indiquer à ses crawlers quand revenir après une surcharge temporaire.

Des sitemaps censés guider les moteurs contiennent pourtant des URL en erreur, redirigées, noindex ou déclarées non canoniques. Joost de Valk a contrôlé six sites connus et relevé des incohérences parfois massives entre leurs fichiers XML et les pages listées.

Diagnostics inventés, titres génériques, pages placées en noindex sans demande, Claude peut commettre des erreurs dans les tâches SEO. Bryson Meunier en rapporte dix, relevées lors d’un audit de 41 sites et du développement de son application.

Un site voit ses pages disparaître de Google, qui retient une page de casino comme référence. John Mueller évoque une erreur d’affichage possible et conseille de vérifier le contenu reçu par Googlebot.

Ajouter quotidiennement un horodatage à l’URL d’un sitemap vise à provoquer un nouveau passage des moteurs de recherche. Google déconseille cette méthode et recommande de conserver des URL stables, associées à des dates de modification exactes.

Une étude Ahrefs observe que 5,3 % des pages classées dans le top 3 seraient entièrement générées par IA et que 40 % des pages très fortement IA étudiées sont indexées. Ces contenus obtiennent toutefois moins d’impressions en moyenne, sans effondrement systématique de leurs performances après quelques mois.

Pendant 41 jours, une expérience a comparé des pages reliées en HTML à d’autres accessibles uniquement par des liens injectés en JavaScript. GPTBot, ClaudeBot et plusieurs autres crawlers IA n’ont découvert aucune page via ces liens, tandis que Googlebot n’en a atteint que 2 %.