Sommaire
Face à la montée des crawlers d’IA, certains développeurs testent des pages en Markdown destinées uniquement aux bots. Une approche vivement critiquée par John Mueller, qui la juge techniquement bancale et sans fondement documenté.
Des échanges récents relancent le débat autour des formats “spécifiques bots”. En cause, des tests visant à servir des pages en Markdown brut aux crawlers d’IA, afin de réduire la consommation de tokens lors de l’ingestion de contenus.
Des tests côté développeurs
Sur le forum r/TechSEO, un développeur explique avoir mis en place un middleware Next.js capable de détecter des user agents comme GPTBot ou ClaudeBot. Lorsqu’un de ces bots accède au site, la version HTML/React est remplacée par un fichier Markdown.
Selon l’auteur du test, cette méthode permettrait de réduire jusqu’à 95 % le volume de tokens par page, avec l’objectif d’améliorer l’ingestion par des systèmes de type RAG (retrieval-augmented generation).
La réaction de John Mueller
La proposition n’a pas convaincu John Mueller. Sur Reddit, le porte-parole de Google interroge la faisabilité même de l’approche : « Êtes-vous sûr qu’ils reconnaissent le Markdown autrement que comme un fichier texte ? Peuvent-ils analyser et suivre les liens ? (…) Quid du maillage interne, du header, du footer, de la sidebar et de la navigation ? »
Sur Bluesky, le ton est plus direct. Répondant à Jono Alderson, Mueller n’a pas mâché ses mots : « Convertir des pages en Markdown est une idée stupide. Vous saviez que les LLMs peuvent lire des images ? Pourquoi ne pas transformer tout votre site en image ? »
Un scepticisme partagé
D’autres intervenants soulignent l’absence de preuve montrant que les LLMs privilégient des formats plus légers ou “optimisés tokens”. Rien n’indique non plus que servir du Markdown améliore la compréhension, l’indexation ou la citation des contenus.
L’argument selon lequel les LLMs seraient plus à l’aise avec le Markdown, du fait de leur entraînement sur des dépôts de code, reste à ce stade non démontré.
Une position constante côté Google
Ce n’est pas la première fois que John Mueller exprime ce point de vue. Il s’était déjà montré critique vis-à-vis de formats dédiés aux bots IA (Markdown, JSON ou llms.txt), appelant à rester sur des bases éprouvées (HTML lisible, données structurées documentées, contenu accessible sans artifice…).
Aucune plateforme IA majeure n’a, à ce jour, publié de spécification demandant des versions Markdown des pages web.
