Sommaire
Mark Williams-Cook a créé un faux standard baptisé cats.txt pour tester les arguments habituellement avancés en faveur de llms.txt. Le fichier a été crawlé, indexé, repris par des IA et même recommandé par ChatGPT, sans que cela démontre qu’il soit utilisé comme un signal spécifique.
Mark Williams-Cook, consultant SEO technique et auteur régulier sur les questions de recherche et d’IA, a construit cette expérience pour examiner le niveau de preuve utilisé autour de llms.txt. Son objectif n’était pas de démontrer que ce fichier est inutile, mais de montrer que plusieurs observations souvent présentées comme des preuves peuvent apparaître avec un fichier volontairement absurde.
Un faux standard créé pour tester les arguments autour de llms.txt
L’auteur a créé cats.txt, un simple fichier texte placé à la racine d’un domaine et destiné, en apparence, à décrire les chats associés à un site, leur rôle, leur race ou encore un indice fictif baptisé PurrLevel.
Il a publié une véritable spécification du fichier, puis un article LinkedIn le présentant comme un standard utile au SEO et au GEO. D’autres membres de la communauté ont ensuite installé leur propre cats.txt, tandis qu’un site dédié au format a également été créé.
L’objectif était de soumettre ce faux standard aux quatre arguments régulièrement avancés pour défendre llms.txt : le crawl par les bots, l’indexation par Google, la reprise d’informations par les LLM et l’approbation directe de ChatGPT.
Les bots IA ont bien crawlé cats.txt
Premier test, les fichiers cats.txt ont reçu des requêtes de plusieurs crawlers.
Mark Williams-Cook rapporte notamment des passages de PerplexityBot, GPTBot et ClaudeBot, ainsi que de Googlebot et d’autres robots. Des logs publiés sur le site consacré au standard permettent également d’observer ces accès.
L’auteur rappelle toutefois qu’un crawl indique uniquement qu’un robot a demandé une ressource. Il ne permet pas de savoir si son contenu est ensuite utilisé, pondéré ou pris en compte comme un signal particulier.
C’est précisément le même type d’observation qui est parfois utilisé pour soutenir l’adoption de llms.txt.
Google a également indexé le fichier
Deuxième constat, cats.txt a pu être indexé par Google.
Le moteur a ainsi référencé un fichier contenant des informations entièrement fictives sur des chats et leurs fonctions professionnelles. Search Console pouvait également proposer de suivre son indexation.
Mark Williams-Cook souligne que Google indexe les fichiers texte lorsqu’ils sont accessibles sur le Web. Leur présence dans l’index ne signifie donc pas, à elle seule, qu’ils bénéficient d’un traitement particulier.
Le test reproduit ici un deuxième argument parfois avancé en faveur de llms.txt : son indexation par Google.
Les IA ont repris des informations présentes uniquement dans cats.txt
Le troisième test concernait la capacité d’un moteur génératif à restituer des informations présentes uniquement dans le fichier.
Sur le site d’un autre SEO ayant adopté cats.txt, Google AI Overviews a ainsi repris des informations concernant un chat fictif nommé Odd, notamment son rôle de “Render Cat” et plusieurs caractéristiques inventées dans le fichier.
Selon Mark Williams-Cook, cette situation peut s’expliquer par un mécanisme classique de retrieval. Une URL indexée peut être récupérée comme n’importe quelle autre page, puis son contenu utilisé dans une réponse.
Dans ce cas, le fait qu’un LLM lise cats.txt ne démontre pas que le format bénéficie d’un traitement spécifique. Le fichier peut simplement être traité comme une ressource web accessible.
ChatGPT a même recommandé cats.txt
Le quatrième test consistait à demander directement à ChatGPT si cats.txt pouvait aider à mieux apparaître dans les moteurs de recherche ou les LLM.
Quelques semaines après la publication du faux standard, ChatGPT répondait positivement et évoquait notamment des signaux structurés, une meilleure compréhension par les machines ou une amélioration possible de la visibilité.
L’auteur rapproche ce comportement du problème de convergence des LLM. Lorsqu’un sujet est largement présenté d’une certaine manière sur le Web, le modèle peut reproduire cette position dominante dans ses réponses.
Lorsque la nature satirique de cats.txt est ensuite devenue plus largement documentée, ChatGPT a commencé à le présenter comme un faux standard créé pour démontrer un point. Le fichier lui-même n’avait pourtant pas changé.
Aucun grand fournisseur ne documente l’usage de llms.txt
Avant de présenter son expérience, Mark Williams-Cook rappelle également l’état actuel de la documentation autour de llms.txt.
Selon lui, aucun grand fournisseur de LLM n’a documenté son utilisation pour la recherche ou la découverte de contenus. Il cite notamment OpenAI, Anthropic et Google.
L’article reprend également une déclaration de John Mueller selon laquelle les systèmes IA grand public ne récupèrent pas actuellement llms.txt dans le cadre du grounding ou de leurs conversations.
Mark Williams-Cook mentionne enfin une analyse d’Ahrefs portant sur 100 000 domaines, ainsi que d’autres travaux n’ayant pas identifié d’avantage mesurable sur les citations pour les sites ayant ajouté ce fichier.
