Les crawlers de Google ne se limitent pas aux requêtes HTTP GET et POST. Gary Illyes précise qu’ils utilisent aussi HEAD, OPTIONS, PUT, PATCH et DELETE, même si ces méthodes représentent moins de 1,5 % de leurs requêtes.
Gary Illyes, analyste au sein de l’équipe Google Search, a apporté cette précision après avoir reçu plusieurs questions sur les méthodes HTTP utilisées par les crawlers de Google. Son intervention apporte un éclairage sur le fonctionnement technique de l’exploration des sites.
Google utilise aussi d’autres méthodes HTTP
Les crawlers de Google utilisent principalement GET et POST, mais d’autres méthodes peuvent également être envoyées lors de l’exploration.
Gary Illyes cite précisément HEAD, OPTIONS, PUT, PATCH et DELETE. Selon lui, ces cinq méthodes réunies représentent moins de 1,5 % des requêtes envoyées par l’ensemble des crawlers de Google.
Elles restent donc très minoritaires dans le volume total de requêtes généré par les robots du moteur.
JavaScript serait à l’origine de ces requêtes
Gary Illyes explique que ces méthodes HTTP supplémentaires sont liées au rendu des pages.
Selon lui, certains scripts JavaScript déclenchent ces requêtes au cours du processus utilisé par Google pour rendre les contenus. Il évoque ainsi des appels initiés par JavaScript lorsque le système de rendu intervient sur les pages explorées.
Google n’a pas détaillé les circonstances précises dans lesquelles chacune des méthodes HEAD, OPTIONS, PUT, PATCH ou DELETE est utilisée.
