Exploration, logs, budget crawl, priorisation et gestion des paramètres d’URL.
Le Markdown promet des pages plus légères et plus simples à traiter pour les agents IA. Les observations de John Mueller montrent toutefois que les principaux robots ne semblent pas encore demander ce format.
Google déploie une redirection intermédiaire sur les liens de ses résultats de recherche afin de renforcer ses protections contre les abus. Les clics peuvent désormais passer par une URL google.com/goto avant d’atteindre la page de destination.
Google a corrigé deux bugs apparus en août, l’un faisant disparaître les favicons de nombreux résultats de recherche et l’autre supprimant deux jours de données dans les statistiques de crawl de Search Console. Les deux incidents semblent désormais résolus.
Pendant 41 jours, une expérience a comparé des pages reliées en HTML à d’autres accessibles uniquement par des liens injectés en JavaScript. GPTBot, ClaudeBot et plusieurs autres crawlers IA n’ont découvert aucune page via ces liens, tandis que Googlebot n’en a atteint que 2 %.
Google Search prendra à terme en charge la nouvelle méthode HTTP QUERY, conçue pour combiner certaines propriétés de GET et POST. Gary Illyes estime qu’elle pourrait notamment simplifier les navigations à facettes et les systèmes de filtres complexes.
Des traces de crawl attribuées à Meta ont été observées sur plusieurs sites, alimentant l’hypothèse d’un index web développé en interne. L’objectif évoqué serait notamment de permettre aux services d’IA du groupe de s’appuyer sur leurs propres données de recherche plutôt que sur celles d’un partenaire.
Mark Williams-Cook a créé un faux standard baptisé cats.txt pour tester les arguments habituellement avancés en faveur de llms.txt. Le fichier a été crawlé, indexé, repris par des IA et même recommandé par ChatGPT, sans que cela démontre qu’il soit utilisé comme un signal spécifique.
Les crawlers de Google ne se limitent pas aux requêtes HTTP GET et POST. Gary Illyes précise qu’ils utilisent aussi HEAD, OPTIONS, PUT, PATCH et DELETE, même si ces méthodes représentent moins de 1,5 % de leurs requêtes. Gary Illyes, analyste au sein de l’équipe Google Search, a apporté cette précision après avoir reçu plusieurs […]
Plusieurs éditeurs, dont USA Today, Reuters, Politico et People Inc., réexaminent l’accès accordé à Google. Aucun n’a encore annoncé son retrait complet du moteur de recherche.
La version 7.0 du Log File Analyser de Screaming Frog introduit la vérification des bots IA. Une évolution qui permet de fiabiliser l’analyse des logs dans un contexte où les crawlers se multiplient. La vérification des bots IA devient centrale Screaming Frog ajoute la vérification des bots IA dans son Log File Analyser. Comme pour […]
