WordPress 5.3 change de méthode pour bloquer l’indexation sur Google

WordPress bloque le crawl (et non l’indexation) jusqu’à la version 5.2

Les développeurs de WordPress ont décidé de changer de méthode pour indiquer aux moteurs de recherche de ne pas indexer les sites. Auparavant, le fait de cocher la case « Demander aux moteurs de recherche de ne pas indexer ce site » dans les réglages de WordPress avait comme conséquence d’ajouter une ligne Disallow: / dans le fichier robots.txt. Les robots, dont Googlebot, étaient donc conviés à ne pas crawler le site, alors que l’utilisateur souhaitait indiquer aux robots qu’ils ne devaient pas indexer le site, une nuance importante. Il pouvait arriver que Google repère un lien vers votre site et décide de l’indexer. Il ne crawlait pas votre site, il ne pouvait donc pas identifier une éventuelle balise META name=’robots’ paramétrée sur noindex, nofollow.

Ce que WordPress 5.3 va changer pour le référencement

À partir de la version 5.3, WordPress ne modifiera plus le robots.txt lorsque la case « Demander aux moteurs de recherche de ne pas indexer ce site » sera cochée. Cela aura pour conséquence de laisser les robots, tel Googlebot, parcourir le site. En revanche, la balise META name=’robots’ sera ajoutée, avec les paramètres noindex, nofollow. Le bot de Google arrivera sur votre site, verra la balise et comprendra que le site ne doit pas être indexé – voire, que des pages doivent être désindexées. Le crawl s’arrêtera rapidement, Google étant logiquement peu avare d’économies pour le budget crawl des sites demandant expressément à ne pas apparaître dans les résultats de recherche.

Les sites WordPress impactés à partir du 12 novembre 2019

La version 5.3 de WordPress est en cours de développement : la première beta est attendue pour le 23 septembre, la Release Candidate pour le 15 octobre, alors que la version finale devrait être mise à disposition des utilisateurs le 12 novembre 2019. Les sites les plus réactifs sur les mises à jour WordPress seront donc impactés à partir de cette date. Pour plus d’infos, vous pouvez consulter cette note de WordPress.

Et n’oubliez pas : depuis le 1er septembre, Google ignore le noindex dans le robots.txt.