Dans un entretien publié par The Verge, Nilay Patel, directeur de la rédaction du média, interroge Matthew Prince, cofondateur et PDG de Cloudflare. L’entreprise se place entre les sites et leurs visiteurs, humains ou automatisés, sur plus de 20 % du Web. Elle dispose ainsi d’une vue directe sur l’activité des robots et les choix d’accès des éditeurs.
Cloudflare distingue Search, entraînement et agents
Depuis le 15 septembre, Cloudflare règle par défaut ses comptes gratuits pour refuser l’entraînement IA sans bloquer Googlebot. La préférence s’appuie sur Google-Extended. Les propriétaires peuvent modifier eux-mêmes ce réglage.
Cloudflare veut séparer Search de l’entraînement, mais aussi des visites effectuées par les agents à la demande d’un utilisateur. La difficulté concerne les usages multiples de Googlebot. Le robot explore les pages pour la recherche classique, tandis que Google utilise aussi des contenus du Web pour AI Overviews et AI Mode.
Les directives Content Signals de Cloudflare ne sont pas reconnues par Google. Matthew Prince prévient que si l’entreprise ne distingue pas suffisamment les finalités de son crawl, Cloudflare pourrait appliquer un blocage complet de Googlebot. Les pages concernées ne seraient alors plus accessibles pour les fonctions IA ni pour l’indexation classique.
Un blocage massif toucherait le PageRank
Cloudflare affirme se placer devant plus d’un cinquième du Web. Cette proportion correspond au périmètre technique de son réseau, pas à la part actuellement inaccessible à Google.
Matthew Prince estime qu’un blocage étendu créerait un trou dans le PageRank. Le classement de Google repose notamment sur les liens qui relient les pages et permettent d’évaluer leur importance relative. La disparition d’un vaste ensemble de sites laisserait moins de relations entre pages à analyser.
Le dirigeant présente donc le blocage comme un moyen de pression qui toucherait l’ensemble du moteur. Les sites concernés perdraient leur présence dans Search, tandis que Google disposerait d’un graphe du Web moins complet.
L’accord entre Google et les éditeurs a changé
Matthew Prince décrit un échange devenu déséquilibré. Google obtenait l’accès aux contenus des sites et leur envoyait des visiteurs susceptibles de générer des abonnements ou des revenus publicitaires.
Les réponses produites par l’IA utilisent désormais ces contenus tout en renvoyant moins de trafic aux éditeurs, selon lui. Google peut aussi tirer des revenus de ses abonnements IA ou des publicités affichées autour de ces réponses.
Le dirigeant indique que certains grands éditeurs ont déjà obtenu des accords plus favorables. Il souhaite étendre cette possibilité aux autres sites et estime que Google se montre plus ouvert aux discussions sur la transparence du crawl et la rémunération.
L’entretien a été enregistré avant la publication des premiers montants du programme Google AI Contribution. Ce test rémunère environ 100 éditeurs pour leur contribution à Gemini, AI Overviews et AI Mode. Pour plusieurs petits et moyens sites, les sommes citées représentent moins de 0,1 % de leurs revenus publicitaires.
Cloudflare prépare un paiement par accès
Cloudflare travaille avec Stripe et Coinbase pour faire payer les accès automatisés grâce au code HTTP 402, réservé au paiement. Son programme Pay Per Crawl doit permettre à un site de réclamer une fraction de centime chaque fois qu’un robot consulte une ressource.
Matthew Prince envisage aussi un système comparable à celui de Spotify. Une partie des revenus versés aux entreprises d’IA serait regroupée, puis redistribuée afin de financer les contenus utilisés par leurs modèles et leurs réponses.
Ce marché suppose que les robots déclarent leur identité et l’objectif de leur accès. Cette demande rejoint celle de plus de 300 éditeurs auprès du Congrès américain, qui souhaitent empêcher les crawlers IA de se présenter comme des visiteurs humains.
Matthew Prince cite enfin le Park Record, journal local qu’il possède avec son épouse dans l’Utah. Il estime que ses contrats de licence avec les entreprises d’IA devraient lui rapporter davantage cette année que sa publicité numérique.
