Analyse du crawl, indexabilité, performances, mobile-first, Core Web Vitals. Tous les fondamentaux techniques qui soutiennent le référencement.
Une analyse des logs de dejan.ai montre que les crawlers de Google, Anthropic et OpenAI ont demandé robots.txt 1 150 fois, contre seulement quatre accès à llms.txt. La collecte porte sur 20 jours, du 27 juillet au 15 août 2026, et permet de distinguer précisément les agents à l’origine des requêtes.
Le rapport State of the Bots de TollBit montre que ChatGPT-User a accédé à des URL pourtant interdites dans robots.txt sur plusieurs sites européens. OpenAI précise que ces règles peuvent ne pas s’appliquer lorsque la récupération d’une page est déclenchée directement par un utilisateur de ChatGPT.
Google ne considère pas les URL alternatives déclarées avec hreflang comme indexées au sens strict. Gary Illyes explique qu’elles sont conservées comme versions alternatives d’une URL canonique et peuvent malgré tout être affichées dans les résultats de recherche.
Le black hat SEO n’a pas disparu, mais certaines de ses techniques historiques ont perdu en efficacité tandis que d’autres continuent d’être utilisées dans des stratégies à haut risque. Cloaking, PBN, parasite SEO, domaines expirés ou contenus générés à grande échelle restent contraires aux règles de Google lorsqu’ils servent à manipuler les résultats.
Mark Williams-Cook a créé un faux standard baptisé cats.txt pour tester les arguments habituellement avancés en faveur de llms.txt. Le fichier a été crawlé, indexé, repris par des IA et même recommandé par ChatGPT, sans que cela démontre qu’il soit utilisé comme un signal spécifique.
Les crawlers de Google ne se limitent pas aux requêtes HTTP GET et POST. Gary Illyes précise qu’ils utilisent aussi HEAD, OPTIONS, PUT, PATCH et DELETE, même si ces méthodes représentent moins de 1,5 % de leurs requêtes. Gary Illyes, analyste au sein de l’équipe Google Search, a apporté cette précision après avoir reçu plusieurs […]
Google n’indique plus dans ses règles que les pages de recherche interne doivent être bloquées. John Mueller recommande toutefois de continuer à les exclure pour limiter la charge serveur et les risques de contenus indésirables. Dans le dernier épisode du podcast Search Off the Record, John Mueller est revenu sur l’indexation des pages générées par […]
Des conversations Claude rendues publiques ont été retrouvées dans les résultats de Google. Le problème vient d’un conflit entre le blocage robots.txt et une directive noindex inaccessible au moteur. Des pages de partage Claude sont apparues dans Google au cours du week-end, alors qu’elles comportaient une directive destinée à empêcher leur indexation, rapporte Search Engine […]
Hobo rapporte avoir observé dans Gemini un bloc JSON structuré contenant des champs confidence, associés à des entités, des contacts et un profil professionnel. Shaun Anderson relie cette sortie aux scores de confiance déjà repérés dans la fuite Google Content Warehouse de 2024.
John Mueller a répondu à un cas de maillage interne où un SEO voulait empêcher Google de voir un bouton comme un lien, afin qu’une autre ancre plus descriptive soit prise en compte plus bas dans la page. Selon lui, ce type de modification a peu de chances de produire un changement visible.
