Exploration, logs, budget crawl, priorisation et gestion des paramètres d’URL.
Google a temporairement maintenu une URL de VLC dans son index malgré une erreur HTTP 418. Gary Illyes a expliqué ce traitement et ses effets sur le titre, l’extrait et le favicon du résultat.
Google prévoit de prendre en charge début 2027 un signal commun pour exprimer un refus de l’entraînement IA dans robots.txt. Les règles propres à chaque fournisseur, dont Google-Extended, resteront disponibles.
John Mueller a averti que les tactiques de spam IA peuvent perdre leur efficacité une fois détectées. Dans un entretien, il a aussi précisé ses recommandations sur le crawl, les redirections et le SEO technique.
Google précise que ses robots doivent suivre les redirections de l’accueil jusqu’à la page qui déclare le favicon. Le fichier de l’icône doit aussi rester accessible à Googlebot-Image.
Dan Lauer détaille les corrections réalisées après la migration d’un site B2B. Après les interventions techniques et la révision des métadonnées, l’équipe rapporte une hausse mensuelle de 121 % du trafic organique.
Google Search Central rappelle qu’un site temporairement hors ligne doit renvoyer un code HTTP 503. Ce statut signale l’interruption aux robots et permet de conserver les pages dans l’index pendant une courte indisponibilité.
Google rappelle les règles de syntaxe du fichier robots.txt et recommande d’encoder les caractères internationaux dans les chemins. La vidéo distingue aussi le contrôle du crawl de l’usage ultérieur des contenus par les IA.
Les crochets bruts et encodés peuvent correspondre à des URL distinctes. John Mueller recommande une écriture cohérente dans tout le site et précise qu’il ne signale pas de problème actuel chez Google.
Un site avait retrouvé sa visibilité après son changement de domaine, avant que Google réindexe soudainement l’ancienne adresse. John Mueller rappelle que le traitement peut durer et demande de déclarer toutes les variantes du domaine dans Search Console.
Google documente désormais l’usage de l’en-tête HTTP Retry-After avec les réponses 503 et 429. Il permet d’indiquer à ses crawlers quand revenir après une surcharge temporaire.
