Directives d’exploration, sitemaps, règles d’accès et erreurs fréquentes.
Cloudflare ajoute un réglage pour refuser l’entraînement IA tout en conservant l’accès des robots de recherche.L’option « Block » bloque désormais aussi Googlebot, Applebot et Bingbot, tandis que la prise en charge du refus reste incomplète chez Bing.
Ajouter quotidiennement un horodatage à l’URL d’un sitemap vise à provoquer un nouveau passage des moteurs de recherche. Google déconseille cette méthode et recommande de conserver des URL stables, associées à des dates de modification exactes.
Google Search prendra à terme en charge la nouvelle méthode HTTP QUERY, conçue pour combiner certaines propriétés de GET et POST. Gary Illyes estime qu’elle pourrait notamment simplifier les navigations à facettes et les systèmes de filtres complexes.
Google pourrait élargir la liste des règles robots.txt non prises en charge dans sa documentation.Le moteur envisage aussi de mieux gérer certaines fautes fréquentes sur la directive disallow. Le sujet a été évoqué par Gary Illyes et Martin Splitt dans Search Off the Record, après qu’un membre de la communauté a proposé à Google d’ajouter […]
