Dans une publication du 11 novembre sur Google Search Central, Gary Illyes et Cherry Prommawin expliquent ce qui se passe lors du passage à un CDN, un réseau de serveurs qui distribue les contenus d’un site au plus près des internautes.
Des réponses plus rapides peuvent accélérer le crawl
Google ajuste la capacité d’exploration du site selon les temps de réponse et l’état du serveur. Si les réponses deviennent plus rapides et plus stables, ses robots peuvent augmenter progressivement leur cadence, à condition qu’ils aient des URL à explorer.
Or, au démarrage, le cache est encore vide. À la première requête pour une URL sur un serveur du CDN, celui-ci récupère le contenu auprès du serveur d’origine. Si le contenu peut être mis en cache, les requêtes suivantes pour cette URL peuvent être servies directement par le CDN. Les robots parcourent beaucoup d’URL différentes, ce qui multiplie les demandes au serveur d’origine pendant cette phase.
Google recommande de préparer le cache avant la bascule
Google conseille de précharger les pages les plus visitées et les URL les plus explorées. Il recommande de les appeler via le CDN à un rythme contrôlé avant d’y rediriger tout le trafic.
Un blocage général des robots peut aussi soumettre Googlebot à un CAPTCHA qu’il ne sait pas résoudre. Google conseille d’exempter les robots vérifiés de ces contrôles et de cibler les robots indésirables.
Si le serveur reste sous forte charge, Google recommande de ralentir temporairement le crawl avec des réponses HTTP 429 ou 503, pendant quelques heures et au maximum un à deux jours.
