Dans un échange publié sur Reddit, John Mueller a répondu à une question sur l’intérêt de proposer une version Markdown des pages aux robots des moteurs de recherche et des services d’IA.
Search Advocate chez Google, John Mueller intervient régulièrement sur les sujets liés au crawl, à l’indexation et au référencement. Sa réponse porte sur les requêtes observées sur ses propres sites de test.
Le serveur peut choisir entre HTML et Markdown
La question posée à John Mueller concerne un système capable de fournir deux formats depuis une même URL. Le navigateur reçoit la page HTML habituelle. Un robot peut obtenir une version Markdown lorsqu’il transmet l’en-tête Accept de la requête avec la valeur text/markdown.
Cette méthode repose sur la négociation de contenu. Le serveur examine les formats acceptés par le client avant de choisir sa réponse. La page Markdown conserve le texte, les titres, les listes et les liens, mais peut être transmise sans styles ni scripts.
L’auteur de la question indique que ses versions Markdown représentent environ un tiers du poids des fichiers HTML mis en cache. Son objectif consiste à réduire la bande passante consommée par des robots IA qui effectuent de nombreuses requêtes. Il avait auparavant bloqué ces robots avec Cloudflare en raison de leur activité.
La réduction du poids ne signifie pas que les robots concernés demandent réellement ce format. Google avait déjà déconseillé de remplacer le HTML par du Markdown dans le seul but de faciliter le traitement des contenus par les systèmes d’IA.
John Mueller ne voit passer que des outils SEO
Dans sa réponse, John Mueller précise que, sur ses sites de test, seuls des outils SEO déclarent accepter le Markdown. Il ajoute la mention « YMMV », qui indique que les résultats peuvent varier selon les sites et les configurations.
Cette observation ne constitue pas une étude générale du comportement des robots IA. Elle décrit uniquement les demandes reçues sur les environnements examinés par John Mueller. Elle ne permet donc pas d’affirmer qu’aucun agent ne sollicite ce format.
John Mueller souligne aussi que les configurations courantes des serveurs ne consignent pas toujours les formats acceptés par chaque robot. Un crawler peut annoncer qu’il prend en charge le Markdown sans que cette information apparaisse dans les journaux habituels.
L’intérêt du dispositif ne peut donc être évalué qu’après avoir ajouté l’en-tête Accept aux logs du serveur. Les premières déclarations de Google avaient déjà écarté l’intérêt SEO supposé des pages Markdown réservées aux bots IA.
Cloudflare convertit le HTML à la volée
Cloudflare propose une fonctionnalité appelée Markdown for Agents. Elle assure une conversion HTML à la volée lorsqu’un client demande le format Markdown.
La réponse reçoit le type text/markdown; charset=utf-8. Cloudflare ajoute aussi l’en-tête Vary: Accept. Celui-ci empêche un cache de transmettre une réponse Markdown à un navigateur qui attend du HTML.
Le service conserve certains en-têtes liés à la sécurité et au cache. Il retire ceux dont la valeur dépend du corps original, notamment Content-Encoding, Content-Range, ETag et Last-Modified.
Deux en-têtes supplémentaires indiquent le volume estimé avant et après la transformation. x-original-tokens correspond au contenu d’origine et x-markdown-tokens à sa version convertie. Ces deux compteurs de tokens permettent d’évaluer la réduction obtenue.
La sortie contient un bloc YAML construit à partir des métadonnées de la page. Le corps principal est conservé après le retrait de la navigation, des styles et des scripts. Le JSON-LD est conservé dans un bloc de code. Cloudflare fixe à 2 Mo la taille maximale de la réponse d’origine que le service peut convertir.
Un format plus léger ne garantit pas davantage de citations
Cloudflare présente le Markdown comme un format plus direct pour les agents et susceptible de réduire les tokens inutiles. Sa documentation ne fournit toutefois aucun gain de visibilité démontré dans les réponses produites par les services d’IA.
La taille d’un document et sa facilité d’analyse relèvent du traitement technique. La sélection d’une source, son utilisation dans une réponse et l’affichage d’une citation dépendent d’autres systèmes. Une économie de tokens ne prouve donc pas une meilleure visibilité.
Les principaux robots savent déjà extraire le contenu d’une page HTML. Une version distincte impose aussi de maintenir une cohérence entre le document transmis au robot et la version réellement visible par l’internaute.
Les données disponibles ne montrent pas que la mise à disposition d’une version Markdown améliore l’exploration, la reprise des informations ou les citations. Une analyse menée pendant 180 jours avait également constaté peu d’effet mesurable pour llms.txt.
Le Markdown conserve d’autres usages pour les agents
Le format reste utilisé pour fournir des consignes, de la documentation ou du contexte à un agent. OpenAI permet par exemple à Codex de lire un fichier AGENTS.md qui contient les instructions propres à un projet.
Il s’agit d’un usage distinct du crawl. L’agent connaît l’existence du fichier parce que son environnement lui demande de le consulter. Ce fonctionnement ne montre pas qu’un robot chargé de découvrir des pages web préfère spontanément leur version Markdown.
Dans ce cadre, Markdown sert à organiser un fichier d’instructions de projet. Sur le Web ouvert, la question porte d’abord sur la découverte de la variante, sa demande par le robot et la cohérence de son contenu avec la page HTML.
Les différences entre ces usages montrent que le format ne suffit pas à caractériser la manière dont un agent accède à une information. Les questions posées lors de l’adaptation d’un site aux agents IA dépassent donc le choix entre HTML et Markdown.
Les logs permettent de vérifier les demandes
L’évaluation commence par une configuration capable de journaliser l’en-tête Accept reçu. Le relevé peut aussi inclure le user-agent, l’URL demandée, le statut HTTP, la taille de la réponse et le résultat du cache.
Ces données montrent quels robots demandent du Markdown et le type de contenu servi à chacun. Elles permettent également de calculer la bande passante économisée par rapport aux réponses HTML.
L’identification des robots demande une vérification supplémentaire. Un nom présent dans le user-agent ne garantit pas que la requête provient réellement du service annoncé. Les méthodes utilisées pour vérifier les bots IA dans les logs peuvent séparer les robots confirmés des identités imitées.
Les logs permettent ainsi d’évaluer l’adoption réelle du format et l’économie de bande passante obtenue. Ils ne permettent pas de relier une réponse Markdown à la présence ultérieure du site dans une réponse générée.
