Sommaire
Le rapport State of the Bots de TollBit montre que ChatGPT-User a accédé à des URL pourtant interdites dans robots.txt sur plusieurs sites européens. OpenAI précise que ces règles peuvent ne pas s’appliquer lorsque la récupération d’une page est déclenchée directement par un utilisateur de ChatGPT.
TollBit a publié de nouvelles données sur le comportement des crawlers et agents IA au premier semestre 2026. Son rapport distingue notamment les robots qui explorent automatiquement le Web des agents qui récupèrent une page à la demande d’un utilisateur.
ChatGPT-User accède à des URL interdites
Sur les sites européens étudiés, environ 15 % des agents IA identifiés comme page-fetchers ont accédé à des URL déclarées comme interdites dans robots.txt.
Quelques agents concentrent l’essentiel de ces accès. ChatGPT-User, Bytespider et Youbot ont chacun atteint des pages interdites sur près de la moitié des sites européens qui les avaient explicitement bloqués.
Parmi eux, ChatGPT-User apparaît sur le plus grand nombre de sites concernés.
Le rapport montre aussi que certains agents récents restent peu bloqués. Claude-User est interdit sur 9 % des sites européens étudiés, contre 26 % en Amérique du Nord. Perplexity-User atteint respectivement 13 % et 26 %.
OpenAI indique que robots.txt peut ne pas s’appliquer
La documentation d’OpenAI précise que ChatGPT-User intervient lorsqu’un utilisateur demande à ChatGPT d’accéder à une page.
Dans ce cas, robots.txt peut ne pas s’appliquer, car la requête est déclenchée par une personne et non par un robot qui explore automatiquement le Web.
Perplexity adopte une position comparable pour Perplexity-User. Anthropic indique en revanche que ses trois agents respectent robots.txt.
Pour son rapport, TollBit retient une définition indépendante de ces politiques. Toute requête vers une URL déclarée comme interdite est comptabilisée comme un contournement.
ChatGPT-User et OAI-SearchBot ont des rôles différents
OpenAI distingue ChatGPT-User d’OAI-SearchBot dans sa documentation.
ChatGPT-User récupère ponctuellement une page lorsqu’un utilisateur de ChatGPT en fait la demande. OAI-SearchBot sert à explorer les contenus susceptibles d’apparaître dans les résultats de recherche de ChatGPT.
Bloquer OAI-SearchBot agit donc sur la visibilité dans ChatGPT Search. Le cas de ChatGPT-User concerne l’accès ponctuel à une page dans le cadre d’une conversation.
Les logs serveur ou les données du CDN permettent ensuite de vérifier quels agents ont réellement accédé au site.
Cloudflare prépare un contrôle au niveau du réseau
Cloudflare prévoit également de modifier la gestion de certains crawlers IA.
À partir du 15 septembre 2026, les nouveaux domaines ajoutés à Cloudflare auront les crawlers d’entraînement et les agents bloqués par défaut sur les pages contenant de la publicité.
Les crawlers liés à la recherche resteront autorisés.
Le contrôle sera ainsi appliqué directement au niveau de l’infrastructure réseau, sans dépendre uniquement du comportement déclaré par chaque crawler.
