Des chercheurs de l’université de Pennsylvanie et de Northeastern University ont comparé trois versions de Google au cours des recherches quotidiennes des participants. Leur prépublication déposée le 18 août sur arXiv examine les effets des AI Overviews et d’AI Mode sur la navigation et l’expérience utilisateur.
Trois versions de Google comparées pendant une semaine
L’équipe a recruté 1 444 personnes. Parmi elles, 1 100 ont effectué des recherches pendant les sept jours de l’expérience et 956 ont répondu au questionnaire final.
Une extension de navigateur enregistrait les recherches, les clics et les pages de résultats affichées. Les participants étaient répartis au hasard entre trois groupes.
| Groupe | Expérience proposée |
|---|---|
| Google habituel | Aucun changement, avec les AI Overviews et l’accès à AI Mode |
| Google sans IA | Masquage des AI Overviews et redirection d’AI Mode vers la recherche classique |
| AI Mode imposé | Redirection des recherches vers AI Mode |
Ce dispositif permet de comparer les comportements dans des conditions différentes, au-delà des seules réponses à un questionnaire.
Moins de clics vers les sites avec AI Mode
L’affectation au groupe AI Mode entraîne une baisse du taux de clic vers les sites externes de 18,8 points de pourcentage par rapport au groupe Google habituel. Pour le retrait des AI Overviews, les chercheurs estiment au contraire une hausse de 8,8 points, après ajustement pour le masquage incomplet des résumés.
Ces écarts concernent le taux de clic vers les sites, pas une variation équivalente du trafic total des éditeurs.
L’étude détaille aussi la proportion de participants qui ont cliqué vers certaines destinations.
| Destination | Écart avec AI Mode imposé par rapport à Google habituel |
|---|---|
| Sites d’actualité | −12,5 points de pourcentage |
| −21,2 points | |
| Wikipédia | −9,9 points |
AI Mode provoque également moins de sessions de recherche, avec une baisse estimée à 0,92 session par jour. Chaque session dure en revanche plus longtemps. Le recul de l’activité est plus marqué chez les utilisateurs les plus assidus de Google. Ces résultats figurent dans les analyses comportementales de l’étude.
Une satisfaction moindre et davantage de recours aux concurrents
Dans le questionnaire final, les personnes affectées à AI Mode déclarent une satisfaction et une confiance moindres envers les informations trouvées sur Google. Elles jugent aussi la recherche moins utile et les réponses moins pertinentes pour elles.
L’expérience augmente par ailleurs le recours aux moteurs concurrents, notamment Bing, DuckDuckGo et Yahoo. L’intention de passer à Bing progresse également.
À l’inverse, le retrait des AI Overviews ne produit pas de changement statistiquement détectable dans la satisfaction, l’utilité perçue ou la confiance envers la recherche IA. Il ne modifie pas non plus de façon détectable le nombre de sessions quotidiennes.
Pour les comparaisons consacrées à l’actualité, les chercheurs ne relèvent pas de différence significative dans la préférence pour AI Mode ou la confiance accordée à ses réponses.
Un usage imposé et un masquage partiel des résumés
Le protocole présente une limite technique importante. Une modification du code HTML de Google a perturbé l’extension. Au total, 51,1 % des résumés ont été masqués dans le groupe censé utiliser Google sans IA. En revanche, 94,7 % des recherches du groupe AI Mode ont bien été redirigées.
L’expérience mesure surtout les effets d’un usage imposé, pendant une semaine, auprès d’adultes américains utilisateurs de Chrome. Elle ne décrit donc pas l’adoption volontaire et progressive d’AI Mode. Les auteurs précisent qu’une exposition plus longue pourrait modifier les comportements et les appréciations observés.
