Sommaire
Une analyse des logs de dejan.ai montre que les crawlers de Google, Anthropic et OpenAI ont demandé robots.txt 1 150 fois, contre seulement quatre accès à llms.txt. La collecte porte sur 20 jours, du 27 juillet au 15 août 2026, et permet de distinguer précisément les agents à l’origine des requêtes.
Dan Petrovic, consultant SEO et fondateur de DEJAN, a analysé les requêtes reçues par trois ressources machine-readable de son site : robots.txt, llms.txt et un bundle OKF contenant une version structurée du contenu du site.
L’analyse porte sur les logs enregistrés entre le 27 juillet et le 15 août 2026. Le site présente l’étude comme une fenêtre de 30 jours, mais précise dans sa méthodologie que la collecte effective couvre 20 jours.
robots.txt concentre presque tous les accès des grands crawlers
Sur l’ensemble des agents observés, robots.txt a été demandé 13 442 fois, contre 2 841 requêtes pour le bundle OKF et 157 pour llms.txt.
Lorsque Dan Petrovic isole Google, Anthropic et OpenAI, l’écart devient particulièrement marqué.
| Fichier | Anthropic | OpenAI | Total des trois | |
|---|---|---|---|---|
robots.txt | 243 | 608 | 299 | 1 150 |
| Bundle OKF | 11 | 1 | 11 | 23 |
llms.txt | 3 | 1 | 0 | 4 |
Anthropic représente la majorité des requêtes vers robots.txt, avec 608 accès. OpenAI en totalise 299 et Google 243.
Les agents étudiés comprennent notamment Googlebot, GoogleOther, ClaudeBot, Claude-User, GPTBot, OAI-SearchBot et ChatGPT-User.
llms.txt n’a été demandé que quatre fois
Sur les 157 accès enregistrés vers llms.txt, la majorité ne provient pas des grands fournisseurs de modèles.
Les navigateurs classiques représentent 85 requêtes, soit 54,1 % du total. Les user-agents non reconnus en représentent 40, puis curl 13.
Parmi Google, Anthropic et OpenAI, Googlebot n’a demandé le fichier que trois fois et ClaudeBot une fois.
Les agents d’OpenAI n’ont effectué aucune requête vers llms.txt pendant la période observée. GPTBot, OAI-SearchBot et ChatGPT-User sont pourtant présents ailleurs dans les logs du site. OpenAI documente plusieurs rôles distincts pour ces agents, comme Position Zéro l’avait détaillé dans son article sur les user-agents de ses crawlers.
Dan Petrovic précise également que les trois accès de Googlebot à llms.txt n’ont été suivis d’aucune requête vers une autre page provenant des mêmes adresses IP.
Le bundle OKF reçoit davantage de requêtes
DEJAN propose également à la racine de son site un bundle OKF, pour Open Knowledge Format. Celui-ci regroupe sous une forme machine-readable le contenu du site.
Le bundle a reçu 2 841 requêtes au total, provenant de 426 adresses IP distinctes et concernant 453 fichiers.
Les trois grands fournisseurs restent toutefois minoritaires. Google totalise 11 accès, OpenAI également 11 et Anthropic un seul.
Chez OpenAI, six requêtes proviennent de ChatGPT-User, trois de GPTBot et deux d’OAI-SearchBot. Ces distinctions entre agents sont importantes dans l’analyse du crawl des systèmes IA.
L’analyse mesure des requêtes, pas l’utilisation des fichiers
Dan Petrovic précise que son étude compte uniquement les requêtes reçues par le serveur.
Les données ne permettent pas de savoir si un fichier récupéré a ensuite été utilisé pour produire une réponse, une citation ou une autre fonctionnalité.
Cette distinction rejoint une précédente expérience autour de llms.txt. Un accès par un crawler ne suffit pas à déterminer le rôle réel joué par le fichier. Position Zéro avait notamment relayé le test cats.txt, conçu pour montrer les limites de ce type de preuve, ainsi que les travaux ne trouvant pas d’effet mesurable de llms.txt sur les citations IA.
