Sommaire
Une analyse menée par Chris Green à partir de 507 mots-clés montre qu’une majorité du contenu figurant dans les 15 premiers résultats organiques de Google serait considérée comme « fluff » (vide de substance) selon un modèle IA de classification.
Le Content Substance Classifier : distinguer substance et fluff
L’étude s’appuie sur le Content Substance Classifier développé par Dejan Marketing.
Ce modèle IA (type transformer) a été entraîné à différencier :
- Fluff : texte creux, verbeux, qui donne peu ou pas de valeur ajoutée.
- Substance : contenu réellement significatif, utile et informatif.
L’outil a été affiné (fine-tuning) pour éviter de se laisser piéger par les artifices d’écriture superficiels et rendre des jugements fiables, même sur des échantillons courts.
Pour illustrer l’idée, Dan Petrovic cite Fondation :
« Il n’a rien dit du tout… et a pris [un blog de 1 000 mots] pour le dire ! »
Méthodologie
L’analyse s’est déroulée en plusieurs étapes :
- Échantillon : 600 mots-clés issus de 3 niches et 4 intentions de recherche (après filtrage, 507 mots-clés restants).
- Crawl : récupération des 2 premières pages de résultats organiques.
- Extraction : utilisation de readability.js pour extraire le texte principal des pages.
- Segmentation : découpage en segments uniformes de 132 tokens pour neutraliser l’influence de la longueur.
- Classification : envoi de chaque segment au modèle IA, puis calcul de la moyenne par page.
Les pages trop courtes pour remplir un segment complet étaient classées automatiquement comme « fluff » (auto-fluff).
Résultats
Un web rempli de « fluff »
Sur les 507 mots-clés analysés, plus de 50 % du contenu des 15 premiers résultats organiques est classé comme « fluff » par le modèle.
Par intention de recherche
Le pourcentage de fluff varie peu d’une intention à l’autre :
- Transactionnel : 58,89 % (le plus élevé),
- Commercial : 55,41 %,
- Informationnel : 54,43 %,
- Navigationnel : 53,76 % (le plus faible).
Classement et substance
Les données suggèrent une légère corrélation négative : le contenu jugé « substantiel » aurait tendance à moins bien se classer. L’auteur insiste sur le fait que cette observation reste très prudente, vu la taille réduite de l’échantillon.
Limites et biais à considérer
Comme le souligne Chris Green, ces résultats doivent être interprétés avec prudence. L’étude est exploratoire et comporte plusieurs limites méthodologiques ou biais possibles qui peuvent influencer les conclusions.
La définition de « substance »
Le modèle semble favoriser un style plus académique et moins proche du style “blog” courant. Ce biais stylistique peut fausser les résultats, car un texte clair et accessible au lecteur peut être jugé “moins substantiel” par l’IA alors qu’il remplit parfaitement sa fonction.
Taille et représentativité
Avec 507 mots-clés analysés — et des exclusions dues à l’extraction de contenu — l’échantillon est relativement réduit. Pour confirmer les tendances observées, l’auteur estime qu’il faudrait multiplier la taille de l’échantillon par dix.
L’intention utilisateur
Un contenu peut être classé “fluff” par le modèle tout en répondant précisément à un besoin utilisateur. La notion de “substance” ne peut pas être évaluée de manière absolue : elle doit toujours être mise en perspective avec l’intention de recherche et le contexte d’usage.
Ce que ça implique pour le SEO
L’hypothèse initiale de l’auteur — « le contenu peu substantiel classe moins bien » — est contredite par les résultats : le contenu creux semble non seulement bien se classer, mais parfois mieux que le contenu riche.
Cela pose des questions sur :
- Les limites des algorithmes de classement actuels.
- L’écart entre ce que le modèle IA appelle “substance” et ce que veulent réellement les utilisateurs.
- L’influence des formats et recettes SEO sur la qualité perçue.
Chris Green rappelle que l’industrie SEO a souvent sous-performé sur la création de contenu réellement utile et que certaines pratiques récentes ont montré leurs limites.
Ce test ne livre pas de vérité absolue, mais il incite à repenser la production de contenu pour ne pas se limiter aux formules creuses.
Conclusion Position Zéro
Cette étude exploratoire montre que beaucoup de contenus jugés “creux” par un modèle IA peuvent pourtant se classer dans les premières positions. Cela s’explique probablement par le fait que tous les mots-clés n’ont pas le même niveau de concurrence et que d’autres signaux — comme l’autorité thématique, la pertinence perçue par l’algorithme ou l’historique de performance — peuvent compenser un contenu faible.
Ce que les données ne permettent pas de dire, c’est si, à autorité thématique, expérience utilisateur et optimisation technique équivalentes, un contenu plus substantiel surperforme systématiquement. C’est une question ouverte et c’est précisément là qu’il serait pertinent d’élargir l’analyse pour mesurer l’impact réel de la qualité de contenu dans un environnement contrôlé.
