Exploration, logs, budget crawl, priorisation et gestion des paramètres d’URL.
Cloudflare refuse désormais par défaut l’entraînement de Google sur ses comptes gratuits et envisage de bloquer Googlebot si Search et IA restent indissociables. Son PDG décrit les effets possibles sur le PageRank et le modèle de rémunération qu’il propose aux éditeurs.
Google a présenté ses délais habituels pour découvrir, indexer et actualiser une page. Un changement canonique peut demander trois semaines, une migration trois mois et une reprise après Core Update jusqu’à six mois.
Google recommande de conserver les sitemaps XML, surtout sur les sites volumineux ou souvent actualisés. Il précise aussi l’usage de lastmod, des URL canoniques et les causes possibles d’une erreur dans Search Console.
Des sitemaps censés guider les moteurs contiennent pourtant des URL en erreur, redirigées, noindex ou déclarées non canoniques. Joost de Valk a contrôlé six sites connus et relevé des incohérences parfois massives entre leurs fichiers XML et les pages listées.
Plus de 300 dirigeants de médias demandent au Congrès américain d’identifier les crawlers IA masqués. Le projet vise à mieux contrôler le scraping des contenus.
Diagnostics inventés, titres génériques, pages placées en noindex sans demande, Claude peut commettre des erreurs dans les tâches SEO. Bryson Meunier en rapporte dix, relevées lors d’un audit de 41 sites et du développement de son application.
Cloudflare ajoute un réglage pour refuser l’entraînement IA tout en conservant l’accès des robots de recherche.L’option « Block » bloque désormais aussi Googlebot, Applebot et Bingbot, tandis que la prise en charge du refus reste incomplète chez Bing.
Une étude estime à environ 5 % la baisse des visites issues des moteurs vers Wikipédia en anglais après les AI Overviews.Wikimedia constate aussi un recul des pages vues humaines et une pression accrue des robots sur ses serveurs.
Ajouter quotidiennement un horodatage à l’URL d’un sitemap vise à provoquer un nouveau passage des moteurs de recherche. Google déconseille cette méthode et recommande de conserver des URL stables, associées à des dates de modification exactes.
Le Markdown promet des pages plus légères et plus simples à traiter pour les agents IA. Les observations de John Mueller montrent toutefois que les principaux robots ne semblent pas encore demander ce format.
