John Mueller (Google) a indiqué sur Bluesky que l’authentification des crawlers personnels et des outils SEO allait devenir « de plus en plus un sujet ».
Mueller a précisé qu’un premier système de signature existait déjà, pour s’authentifier sans avoir à déclarer d’adresse IP fixe. Il a ajouté que l’idéal serait d’aller au-delà de la simple signature, afin d’éviter toute falsification.
Il a expliqué que ce processus n’en était qu’à ses débuts et qu’il évoluerait au fil du temps. Il a invité ceux qui souhaitaient participer aux discussions à suivre les travaux de l’IETF (Internet Engineering Task Force) via datatracker.ietf.org et la mailing list associée.
Enfin, Mueller a soulevé une question encore ouverte : si une IA intégrée au navigateur a cliqué et agi à la place de l’utilisateur, doit-elle être considérée comme un bot devant s’authentifier, ou simplement comme une extension de l’utilisateur humain ?
Pour les SEO, l’authentification des crawlers ne sera pas qu’un détail technique : elle pourrait conditionner l’accès aux données de crawl et remettre en cause le fonctionnement de nombreux outils tiers. À mesure que Google et les instances comme l’IETF poseront un cadre formel, les référenceurs devront adapter leurs pratiques.
L’époque du scraping « invisible » touche à sa fin : la collecte de données SEO passera par des canaux identifiés et standardisés.
