Sommaire
Mesurer quelques dizaines de prompts ne suffit pas toujours à établir un classement fiable des marques dans les moteurs IA. Une étude menée sur Gemini, SearchGPT et Perplexity propose de combiner stabilité des positions et incertitude statistique pour déterminer quand les données deviennent réellement exploitables.
Ronald Sielinski, chercheur chez IQRush, s’est intéressé à un problème encore peu traité dans la mesure de la visibilité IA : déterminer combien de données doivent être collectées avant de comparer sérieusement les domaines cités par les moteurs génératifs.
Son étude, publiée en juillet 2026, analyse 30 combinaisons entre plateformes et thématiques sur Gemini, SearchGPT et Perplexity. Elle propose un cadre statistique destiné à arrêter la collecte lorsque deux conditions sont réunies : le classement doit être stable et les écarts observés suffisamment précis.
Un classement IA reste une estimation
La mesure utilisée dans l’étude repose sur la part de citations obtenue par chaque domaine. Un site représentant 10 % des citations d’un corpus peut ainsi être comparé aux autres domaines observés.
Mais cette part n’est pas fixe. Les moteurs génératifs restent stochastiques : une même requête exécutée plusieurs fois peut produire des réponses différentes et citer d’autres sources.
Dans des travaux précédents, Sielinski avait mesuré une similarité moyenne des domaines cités d’environ 0,30 pour Gemini, 0,40 pour SearchGPT et 0,50 pour Perplexity entre plusieurs exécutions d’une même requête.
Le classement obtenu hérite donc de cette variabilité. Deux domaines affichant respectivement 9,5 % et 6 % des citations peuvent disposer d’intervalles de confiance suffisamment larges pour que leur ordre réel reste incertain.
L’étude distingue ainsi deux problèmes :
- L’instabilité du classement, lorsque les positions continuent de changer à mesure que de nouvelles réponses sont collectées ;
- L’incertitude du classement, lorsque les positions semblent stabilisées mais que les écarts entre domaines restent trop faibles par rapport à l’erreur statistique.
Les auteurs considèrent que les deux conditions doivent être résolues avant d’utiliser le classement pour une analyse comparative.
Les premiers prompts produisent des classements très instables
L’étude porte sur dix thématiques couvrant notamment les biens de consommation, le voyage et les dispositifs médicaux. Pour chacune, 125 requêtes ont été générées à partir de vingt types de questions, comme les comparaisons de fonctionnalités, les recommandations d’experts ou les tendances émergentes.
Les requêtes ont ensuite été envoyées à Gemini, SearchGPT et Perplexity.
Les résultats montrent que les premières dizaines de réponses produisent des classements particulièrement mouvants. Les domaines qui finiront parmi les plus cités ne disposent pas encore d’un volume suffisant pour se détacher.
Selon les plateformes et les sujets, cette phase concerne généralement les 20 à 60 premières réponses.
L’étude observe également que de nouveaux domaines continuent d’apparaître tout au long de la collecte. Attendre que plus aucune nouvelle source ne soit détectée ne constitue donc pas un critère exploitable.
La distribution suit globalement une structure de type loi de puissance : quelques domaines concentrent beaucoup de citations, tandis qu’un grand nombre de sources n’apparaissent qu’une ou deux fois.
Un seuil de corrélation fixe ne fonctionne pas partout
Pour mesurer la stabilisation du classement, Sielinski utilise une corrélation de rang de Spearman pondérée. Les changements affectant les domaines les plus cités comptent davantage que les permutations parmi les sources rarement présentes.
Une méthode classique consisterait à considérer le classement comme stable une fois une corrélation de 0,95 atteinte.
L’étude montre cependant les limites de cette approche.
Les 30 combinaisons testées atteignent ponctuellement une corrélation supérieure ou égale à 0,95. Mais seulement 19 sur 30 maintiennent ce niveau pendant quinze observations consécutives.
Certaines plateformes produisent trop peu de citations par réponse pour rester durablement au-dessus d’un tel seuil, même lorsque leur classement ne change pratiquement plus.
Le chercheur propose donc de détecter un plateau dans la corrélation, plutôt que d’attendre une valeur prédéterminée.
Le modèle recherche une phase de progression suivie d’une période stable d’au moins quinze réponses. Avec cette méthode, les 30 combinaisons étudiées atteignent une stabilité du classement entre 33 et 75 réponses.
Aucune plateforme n’est systématiquement plus rapide qu’une autre.
Un classement stable peut encore manquer de précision
La stabilité ne constitue toutefois que la première condition du modèle.
Un classement peut ne plus beaucoup évoluer tout en restant statistiquement trop imprécis pour différencier les domaines voisins.
L’étude utilise pour cela des intervalles de confiance calculés par bootstrap à partir de 1 000 rééchantillonnages. Les requêtes complètes sont rééchantillonnées plutôt que les citations individuelles afin de conserver les citations produites ensemble dans une même réponse.
Les résultats montrent une incertitude encore importante, même après 125 réponses.
Pour les dix domaines les plus cités de chaque combinaison :
- La largeur médiane de l’intervalle de confiance du rang atteint 5 positions ;
- Le 90e percentile atteint 14,1 positions ;
- 18,7 % des domaines ont un intervalle couvrant plus de dix positions.
L’incertitude devient beaucoup plus importante en descendant dans le classement.
Sur l’ensemble des domaines considérés comme statistiquement établis, la largeur médiane atteint 69,1 positions. Elle grimpe à 131 positions sur l’ensemble des domaines observés.
Un rang affiché comme 15e ou 20e ne signifie donc pas nécessairement que cette position est précisément déterminée par les données collectées.
L’étude ajoute un ratio entre signal et bruit
Pour déterminer si le classement est suffisamment précis, le chercheur introduit un second indicateur appelé Structural Signal-to-Noise Ratio, ou SNR structurel.
Il compare deux éléments :
- La dispersion des parts de citations parmi les domaines statistiquement établis ;
- La largeur moyenne de leurs intervalles de confiance.
Le premier représente le signal entre les domaines. Le second représente l’incertitude de la mesure.
Lorsque le SNR reste inférieur à 1, l’incertitude moyenne est supérieure à la dispersion observée entre les parts de citations.
À partir d’un SNR égal ou supérieur à 1, l’étude considère que le signal dépasse le bruit à l’échelle du groupe de domaines établi. Cela ne signifie pas que chaque paire de domaines voisins est statistiquement distinguable.
Ce seuil est présenté comme un choix opérationnel et non comme une constante statistique universelle.
L’arrêt de la collecte intervient uniquement lorsque le classement a atteint son plateau et que le SNR structurel satisfait ce second critère.
27 des 30 mesures ont convergé avant 125 réponses
En combinant les deux conditions, 27 des 30 couples plateforme-thématique atteignent un niveau jugé suffisant pendant la fenêtre de 125 réponses.
Les médianes de convergence sont de :
- 42 réponses pour Gemini ;
- 37 pour SearchGPT, parmi les sept thématiques ayant convergé ;
- 51 pour Perplexity.
Les écarts entre sujets sont cependant importants.
Pour certaines combinaisons, le classement devient stable rapidement mais les intervalles de confiance mettent beaucoup plus longtemps à se resserrer. Sur Perplexity pour le sujet consacré aux mugs, par exemple, la stabilité arrive à 34 réponses, tandis que la suffisance statistique n’est atteinte qu’à la 81e.
Pour les destinations de voyage sur Perplexity, la stabilité arrive à 49 réponses et le second critère seulement à 94.
Trois combinaisons, toutes sur SearchGPT, ne convergent pas en 125 réponses : les sujets liés au chili maison, à la protection contre l’usurpation d’identité et aux destinations de voyage.
Dans ces trois cas, les écarts entre parts de citations restent trop faibles par rapport à l’incertitude statistique.
Aucun budget universel de prompts ne ressort des résultats
Les résultats ne permettent donc pas de fixer un nombre de prompts applicable à toutes les mesures de visibilité IA.
Dans ce corpus, aucun budget inférieur à 94 réponses n’aurait permis de couvrir toutes les combinaisons ayant fini par converger. Trois autres nécessiteraient encore davantage de données.
La densité des citations varie également fortement entre plateformes. SearchGPT produit environ quatre à six citations par réponse dans l’étude, contre plusieurs dizaines dans certaines configurations de Gemini et Perplexity.
Le nombre de requêtes soumises ne correspond d’ailleurs pas toujours au nombre de réponses exploitables. SearchGPT peut produire des réponses sans aucune citation. Sur la thématique de la protection contre l’usurpation d’identité, 104 réponses contenant des citations ont été obtenues pour 125 requêtes environ.
L’étude recommande ainsi d’évaluer la convergence séparément pour chaque plateforme et chaque sujet, plutôt que d’appliquer un volume de collecte identique partout.
La méthode ne valide pas le choix des prompts
Le cadre proposé mesure uniquement si un ensemble de requêtes donné a été suffisamment échantillonné.
Il ne détermine pas si les prompts choisis sont représentatifs des recherches importantes pour une marque.
Une autre sélection de requêtes, de types de questions, de zones géographiques ou d’intentions peut produire une distribution de citations différente et nécessiter un autre volume de données.
L’étude suppose également que la distribution reste stable pendant la période de collecte. Une modification du modèle, de son index ou de son système de classement pourrait être interprétée comme une absence de convergence.
Enfin, le protocole a été testé sur dix thématiques, trois plateformes et une seule période de collecte. Les auteurs ne présentent donc pas les volumes observés comme des seuils généralisables.
Le cadre vise plutôt à déterminer, à partir des données elles-mêmes, quand un classement devient suffisamment stable et précis pour permettre une comparaison.
