Sommaire
Cloudflare lance “Markdown for Agents”, qui convertit des pages HTML en markdown pour les bots IA via Accept: text/markdown. La bêta (plans payants) s’active au niveau du réseau et applique par défaut des signaux ai-train, search et ai-input.
Cloudflare déploie une fonctionnalité baptisée “Markdown for Agents”. Elle permet de convertir automatiquement les pages HTML en markdown lorsque des agents IA en font la demande via les en-têtes HTTP standards.
Conversion via content negotiation
Le mécanisme repose sur la négociation de contenu. Un crawler IA envoie une requête avec l’en-tête Accept: text/markdown. Le réseau Cloudflare intercepte la requête, récupère la page HTML auprès du serveur d’origine, la convertit en markdown, puis renvoie cette version allégée.
La conversion s’effectue au niveau de l’edge, sans modification côté serveur. L’activation se fait par zone depuis le tableau de bord Cloudflare. Selon l’entreprise, un article de blog interne représentait 16 180 tokens en HTML contre 3 150 tokens après conversion en markdown.
Disponibilité et conditions
La fonctionnalité est proposée en bêta, sans surcoût, pour les clients disposant des offres Pro, Business et Enterprise, ainsi que pour les clients SSL for SaaS. Certains outils IA envoient déjà l’en-tête Accept: text/markdown. Cloudflare cite notamment Claude Code et OpenCode.
Chaque réponse convertie inclut un en-tête x-markdown-tokens, qui estime le nombre de tokens de la version markdown. Les développeurs peuvent s’en servir pour gérer les fenêtres de contexte ou planifier le découpage des contenus.
Content-Signal activé par défaut
Les réponses converties intègrent un en-tête Content-Signal configuré par défaut sur :
ai-train=yessearch=yesai-input=yes
Ces paramètres indiquent que le contenu peut être utilisé pour l’entraînement IA, la recherche et l’entrée dans des agents. Le respect de ces signaux dépend des opérateurs de bots.
Le cadre “Content Signals” a été présenté lors de la Birthday Week 2025 de Cloudflare. L’entreprise prévoit d’ajouter des options personnalisées de politique Content-Signal.
Différence avec le cloaking basé sur l’user-agent
Quelques jours avant l’annonce, John Mueller a critiqué la pratique consistant à créer des pages markdown distinctes servies selon le user-agent, évoquant des risques de cloaking et des problèmes de parsing des liens.
Cloudflare précise que son système repose sur la négociation de contenu et non sur la détection d’un user-agent spécifique. Une même URL peut ainsi renvoyer différentes représentations selon le format demandé dans l’en-tête HTTP.
Dans ce cadre, le contenu reste identique sur le fond, seul le format change.
Suivi dans Cloudflare Radar
Cloudflare ajoute également un suivi des types de contenus servis aux bots IA dans Cloudflare Radar. Les données présentent la répartition des réponses par type MIME et peuvent être filtrées par bot.
L’entreprise cite OpenAI et son OAI-SearchBot comme exemple de crawler pour lequel il est possible de visualiser le volume de réponses markdown. Les données sont accessibles via les API publiques et Data Explorer.
