Sommaire
Google ne prend pas en compte les directives Content Signals ajoutées dans le fichier robots.txt. John Mueller l’a indiqué sur Reddit, en réponse à une question sur l’utilité de ces signaux pour les crawlers et les modèles de langage.
Selon lui, ces directives n’ont “aucun effet” pour les crawlers ou les LLM, et ajoutent surtout de la complexité inutile dans le fichier robots.txt.
Google ne dit pas utiliser llms.txt
La réponse de John Mueller portait sur un test autour des fichiers llms.txt, llms-author.txt et des directives Content Signals proposées par Cloudflare.
Il a d’abord rappelé que Google n’utilise pas llms.txt ni llms-author.txt. Il a ajouté ne pas connaître d’autre crawler ou LLM ayant confirmé utiliser ces fichiers, en dehors d’outils SEO.
Cette précision s’inscrit dans un débat plus large sur les fichiers et directives destinés à guider les systèmes d’IA, mais dont l’adoption réelle reste limitée.
Les directives Content Signals seraient ignorées
A la connaissance de John Mueller, aucun crawler ou LLM n’utilise non plus les directives Content Signals dans robots.txt. Elles auraient été inventées par un CDN et elles n’auraient, selon lui, aucun effet concret pour les crawlers ou les modèles de langage.
Il a aussi rappelé que les crawlers ne tiennent compte que des directives qu’ils prennent en charge. Les autres lignes ajoutées dans un fichier robots.txt sont simplement ignorées.
Un risque de complexité inutile dans robots.txt
Pour John Mueller, mettre ces directives peut surtout alourdir le fichier robots.txt. Il estime que cela ajoute du volume et de la maintenance future, sans effet réel si les crawlers ne reconnaissent pas ces instructions.
Cloudflare prévoit de nouveaux réglages par défaut
Le sujet revient aussi dans l’actualité parce que Cloudflare a fixé une échéance au 15 septembre 2026.
À partir de cette date, Cloudflare prévoit de modifier les réglages par défaut pour les nouveaux domaines ajoutés à sa plateforme. Les catégories Training et Agent seront bloquées par défaut sur les pages affichant des publicités, tandis que la catégorie Search restera autorisée par défaut.
Cloudflare est utilisé par environ 21,3 % des sites web dans le monde, selon les données citées pour janvier 2026. Les éditeurs qui l’utilisent ont donc intérêt à vérifier leurs réglages avant l’échéance, afin de s’assurer que les paramètres correspondent bien à leur stratégie.
