Sommaire
Une étude menée sur 24,4 millions de requêtes montre que les crawlers liés à l’IA dépassent désormais Googlebot sur un échantillon de 69 sites. ChatGPT-User arrive largement en tête, dans un contexte où les logiques de crawl évoluent et où les usages entre robots se différencient de plus en plus.
Une analyse publiée par Alli AI indique que les crawlers liés à l’IA ont généré davantage de requêtes que les robots des moteurs de recherche traditionnels sur un échantillon de 69 sites. Menée entre le 14 janvier et le 9 mars 2026, l’étude repose sur 24,4 millions de requêtes observées au niveau proxy.
ChatGPT-User arrive en tête devant Googlebot, tandis que l’ensemble des crawlers associés à l’IA représente un volume 3,6 fois supérieur à celui des crawlers de recherche classiques.
Il faut toutefois noter que ces données proviennent de sites clients d’Alli AI ayant activé sa solution d’accès aux crawlers. Elles décrivent donc un échantillon ciblé, et non l’ensemble du web.
ChatGPT-User arrive largement en tête
Dans les données publiées par Alli AI, ChatGPT-User arrive nettement en tête avec 133 361 requêtes sur la période étudiée. Derrière, on retrouve :
- Googlebot avec 37 426 requêtes,
- Amazonbot avec 35 728 requêtes,
- Bingbot avec 18 280 requêtes.
Plus loin dans le classement apparaissent aussi ClaudeBot, MetaBot, GPTBot, Applebot, Bytespider et PerplexityBot.
Le principal enseignement tient dans l’écart observé entre les grandes catégories de robots :
- Crawlers liés à l’IA : 213 477 requêtes
- Crawlers de recherche traditionnels : 59 353 requêtes
Sur cet échantillon, les crawlers associés à l’IA enregistrent donc un volume de requêtes très supérieur à celui des robots des moteurs de recherche classiques.
Autre chiffre mis en avant par l’étude, ChatGPT-User à lui seul dépasse Googlebot, Amazonbot et Bingbot réunis.
Deux crawlers distincts chez OpenAI
L’étude met en avant une distinction entre deux robots opérés par OpenAI, souvent confondus dans les configurations : ChatGPT-User et GPTBot.
Ces deux crawlers n’ont pas le même rôle.
- ChatGPT-User sert à récupérer des pages en temps réel, lorsque ChatGPT a besoin d’informations issues du web pour formuler une réponse.
- GPTBot est utilisé pour la collecte de données destinées à l’entraînement des modèles.
Cette différence reste encore peu prise en compte dans les fichiers robots.txt. Les deux agents peuvent pourtant être traités séparément, selon l’usage que l’on souhaite autoriser.
Des temps de réponse plus faibles côté crawlers IA
L’étude compare plusieurs indicateurs techniques, notamment le temps moyen de réponse et le taux de succès des requêtes. Sur ces deux points, les crawlers liés à l’IA affichent de meilleurs résultats.
- ChatGPT-User enregistre un temps moyen de 11 ms avec un taux de succès de 99,99 %. GPTBot suit avec 12 ms et 99,9 %, tandis que ClaudeBot atteint 21 ms pour un taux équivalent. PerplexityBot se distingue avec 8 ms et un taux de succès de 100 %.
- En comparaison, Bingbot affiche un temps moyen de 42 ms et un taux de succès de 98,4 %. Googlebot est mesuré à 84 ms, avec un taux de succès de 96,3 %.
Ces différences seraient liées au fonctionnement de ces robots. Les crawlers utilisés pour répondre à des requêtes iraient chercher des pages précises, en lien direct avec une demande utilisateur. À l’inverse, Googlebot continue d’explorer un ensemble d’URL plus large, incluant des pages anciennes ou moins pertinentes.
Sur l’infrastructure observée, cela se traduit par des requêtes plus ciblées côté crawlers IA, et donc plus rapides à traiter.
Googlebot rencontre davantage d’erreurs sur cet échantillon
L’étude relève aussi un écart sur les réponses en erreur. Googlebot enregistre 624 réponses 403 et 480 réponses 404, soit environ 3 % de ses requêtes.
Cet écart s’expliquerait en grande partie par la nature même du crawl de Google. Le robot continue de revisiter des URL connues de longue date, y compris des pages supprimées, déplacées ou désormais inaccessibles.
À l’inverse, les crawlers IA observés dans cette analyse semblent solliciter des pages plus actuelles, liées à des requêtes ou à des accès plus récents. C’est ce qui expliquerait leurs taux de succès plus élevés sur ce jeu de données.
Une tendance qui rejoint d’autres signaux publiés en 2025
Alli AI rapproche ses résultats de plusieurs rapports publiés en 2025, qui vont dans le même sens.
Plusieurs tendances sont évoquées :
- une forte hausse des requêtes attribuées à ChatGPT-User, observée par Cloudflare,
- une progression marquée du crawl lié aux actions utilisateur,
- une présence importante d’OpenAI dans le trafic de bots IA mesuré par Akamai.
Le texte mentionne également une analyse de Vercel menée sur nextjs.org. Selon celle-ci, les principaux crawlers IA ne rendent pas le JavaScript à ce stade.
Ces différents éléments ne permettent pas de dresser une vue complète du marché. Ils restent néanmoins cohérents avec les observations faites par Alli AI sur son propre réseau.
L’avis de Position Zéro
Même si elle repose sur un périmètre limité, cette analyse met en avant plusieurs points de vigilance.
- Le premier concerne le fichier robots.txt. L’article recommande de vérifier la présence ou l’absence de règles explicites pour ChatGPT-User, GPTBot, ClaudeBot, PerplexityBot, Applebot, Bytespider ou encore CCBot.
- Le deuxième porte sur l’état des URL encore sollicitées par Googlebot. Sur les sites concernés, une partie des requêtes continue de viser des pages obsolètes, en erreur ou mal redirigées.
- Le troisième point touche à l’accessibilité technique des contenus. Puisque plusieurs crawlers IA n’exécutent pas le JavaScript, les sites très dépendants du rendu côté client peuvent rencontrer des limites d’accès.
L’étude rapporte aussi un enjeu d’infrastructure. Les requêtes des bots IA peuvent être rapides et légères à l’unité, mais leur volume finit par peser sur la couche serveur ou CDN.
