John Mueller de Google suggère d’ajouter une directive noindex à votre fichier LLMs.txt pour éviter qu’il n’apparaisse dans les résultats de recherche et ne déroute les utilisateurs.
La recommandation de Mueller
Sur Bluesky, Mueller a précisé : « Utiliser noindex pourrait avoir du sens, car les sites pourraient créer des liens vers ce fichier et il pourrait autrement être indexé, ce qui serait étrange pour les utilisateurs. »
Pas de risque de contenu dupliqué
Concernant les craintes de duplicate content, Mueller rassure : « Ce ne serait du contenu dupliqué que si le contenu était identique à une page HTML, ce qui n’aurait pas de sens (en supposant que le fichier lui-même soit utile). »
Le contexte LLMs.txt
Cette recommandation intervient alors que de nombreux sites adoptent le fichier LLMs.txt, un standard émergent pour communiquer avec les systèmes d’IA. Mueller avait précédemment indiqué qu’à sa connaissance, aucun système IA n’utilise actuellement LLMs.txt.
Application pratique
Pour appliquer cette recommandation, ajoutez une directive noindex à votre fichier LLMs.txt :
User-agent: *
Disallow: /
# Instructions pour les IA...
Ou configurez votre serveur pour renvoyer un header X-Robots-Tag: noindex pour ce fichier spécifique.
Cette approche permet de maintenir la fonctionnalité du fichier pour les IA tout en évitant une indexation inappropriée dans les résultats de recherche classiques.
