Exploration, logs, budget crawl, priorisation et gestion des paramètres d’URL.
Les crawlers de Google ne se limitent pas aux requêtes HTTP GET et POST. Gary Illyes précise qu’ils utilisent aussi HEAD, OPTIONS, PUT, PATCH et DELETE, même si ces méthodes représentent moins de 1,5 % de leurs requêtes. Gary Illyes, analyste au sein de l’équipe Google Search, a apporté cette précision après avoir reçu plusieurs […]
Plusieurs éditeurs, dont USA Today, Reuters, Politico et People Inc., réexaminent l’accès accordé à Google. Aucun n’a encore annoncé son retrait complet du moteur de recherche.
La version 7.0 du Log File Analyser de Screaming Frog introduit la vérification des bots IA. Une évolution qui permet de fiabiliser l’analyse des logs dans un contexte où les crawlers se multiplient. La vérification des bots IA devient centrale Screaming Frog ajoute la vérification des bots IA dans son Log File Analyser. Comme pour […]
L’essor des agents IA amène à repenser la manière dont les contenus sont conçus et structurés. Addy Osmani propose un cadre nommé “Agentic Engine Optimization” (AEO), pensé pour des systèmes capables de récupérer, analyser et exploiter des contenus sans interaction humaine. Cette approche, distincte du SEO classique, vise à adapter les contenus à des usages […]
Une étude menée sur 24,4 millions de requêtes montre que les crawlers liés à l’IA dépassent désormais Googlebot sur un échantillon de 69 sites. ChatGPT-User arrive largement en tête, dans un contexte où les logiques de crawl évoluent et où les usages entre robots se différencient de plus en plus. Une analyse publiée par Alli […]
Google a retouché sa documentation sur les limites de taille des fichiers crawlés, après des incompréhensions côté SEO. Le texte rappelle la limite par défaut à 15 Mo, tout en précisant que Googlebot peut avoir un plafond plus bas (ex. 2 Mo) et que les limites peuvent varier selon le type de fichier (PDF vs […]
