Comment trouver les pages que Googlebot ne visite jamais ?

Un site peut contenir une page, la déclarer dans son plan de site, la lier depuis sa navigation, et cette page ne jamais être visitée par le robot du moteur. Ce cas n'a rien d'exceptionnel : sur les sites volumineux, la proportion de pages jamais explorées sur une période de trente jours dépasse fréquemment le quart du catalogue éditorial. Le seul moyen de le savoir est de croiser un crawl et les journaux serveur, c'est à dire de confronter méthodiquement ce que le site contient à ce que le robot demande réellement, adresse par adresse. Aucun outil du marché ne livre cette information à lui seul, et pourtant elle change souvent la hiérarchie des priorités d'un audit du tout au tout : on découvre que le problème n'est pas la qualité des contenus mais le fait que le moteur ne les voit jamais.

Préparer les deux jeux de données

La difficulté du croisement n'est pas le croisement lui même, qui tient en quelques lignes, mais la préparation des deux listes pour qu'elles soient comparables. Cette étape de préparation prend l'essentiel du temps et conditionne entièrement la validité du résultat obtenu, dans le prolongement de ce que nous décrivons dans notre article sur la manière de segmenter un crawl par répertoire.

Constituer la liste des adresses du site

Le premier jeu regroupe tout ce que le site expose : les adresses trouvées par exploration des liens, celles déclarées dans le plan de site, et celles présentes en base pour les contenus publiés. Ces trois sources diffèrent toujours, parfois de plusieurs milliers d'adresses, et leur réunion donne une image bien plus complète que n'importe laquelle prise isolément. Il faut à ce stade conserver pour chaque adresse son statut, son type de contenu et sa rubrique, informations qui serviront à la lecture des résultats et sans lesquelles le croisement ne produit qu'une liste d'adresses ininterprétable.

Extraire les adresses réellement visitées

Le second jeu vient des journaux d'accès du serveur, filtrés sur les seules lignes du robot vérifié, sur une période d'au moins trente jours consécutifs. La vérification de l'identité du robot par double résolution est indispensable ici, une part significative des lignes se présentant sous son nom sans lui appartenir, et leur prise en compte gonflerait artificiellement la couverture. Pour chaque adresse, on conserve le nombre de visites et la date de la dernière, deux informations que le croisement exploitera, la seconde permettant de distinguer une page vue une fois au début de la période d'une page vue la veille.

Normaliser avant de comparer

C'est l'étape qui décide de tout. Une même page peut apparaître avec ou sans barre oblique finale, avec des paramètres de suivi, en majuscules, avec un encodage différent des accents, ou avec le protocole non chiffré. Sans normalisation, le croisement produit des dizaines de milliers de fausses différences et devient inexploitable. La règle consiste à appliquer exactement le même traitement aux deux jeux : passage en minuscules du domaine seul, suppression des paramètres non significatifs, unification de la barre finale, décodage des caractères échappés. Le mieux est d'écrire une fonction unique de normalisation et de l'appliquer aux deux jeux, plutôt que deux traitements séparés qui divergeront inévitablement.

Choisir la période avec soin

Une fenêtre trop courte fait apparaître comme jamais visitées des pages simplement explorées peu souvent, ce qui est normal sur des archives. Trente jours constituent le minimum acceptable, quatre vingt dix jours donnent une image bien plus juste sur un site à faible fréquence d'exploration, et la comparaison entre les deux fenêtres est en soi instructive. Il faut également vérifier que les journaux couvrent réellement toute la période annoncée, la rotation automatique tronquant souvent le début de la période sans que rien ne le signale, ce qui produit un taux de couverture artificiellement bas.

Vérifier l'absence de couche intermédiaire

Un service de mise en cache placé devant le serveur intercepte une partie des requêtes, dont celles du robot, et les journaux du serveur d'origine deviennent alors incomplets. Le symptôme est un volume de visites anormalement bas au regard de la taille du site et de sa notoriété. Dans ce cas, ce sont les journaux de la couche intermédiaire qu'il faut récupérer, et l'analyse menée sur les journaux d'origine ne prouve rien et conduirait à conclure à tort que la moitié du site n'est jamais explorée.

Ne pas mélanger les types de ressources

Les journaux contiennent tout ce que le robot a demandé, images, feuilles de style, scripts, fichiers de police et documents. Les mélanger fausse complètement le comptage : sur un site de contenu, les ressources représentent souvent les trois quarts des lignes, et un taux de couverture calculé sur cet ensemble ne veut rien dire. Le filtrage se fait par extension et par type de réponse, en conservant les documents HTML pour le croisement principal et en comptant séparément les ressources, dont la part reste une information utile en soi. Il faut également écarter les demandes portant sur des adresses qui n'ont jamais existé, très nombreuses sur un site un peu ancien, sous peine de gonfler artificiellement la population des adresses visitées et absentes du site.

Lire les quatre populations

Le croisement produit quatre ensembles bien distincts, et chacun raconte une histoire différente qui appelle une décision différente. Les traiter séparément est ce qui transforme un tableau en diagnostic, dans la même logique que celle exposée dans notre article sur la manière de calculer son budget d'exploration à partir des journaux serveur.

Présentes sur le site et visitées

C'est la population saine, et elle sert surtout de référence : sa taille rapportée au total donne le taux de couverture réel du site. Elle mérite tout de même un regard, car la fréquence de visite y varie énormément, et repérer les pages importantes visitées une seule fois en trois mois est aussi utile que de repérer celles qui ne le sont jamais, et souvent plus facile à corriger.

Présentes sur le site et jamais visitées

C'est la population qui motive l'exercice. Elle contient trois familles très différentes : des contenus anciens, peu liés et sans valeur particulière, pour lesquels la situation est parfaitement normale ; des contenus récents qui n'ont pas encore été découverts, ce qui interroge directement le maillage interne ; et des contenus importants mais profondément enfouis, ce qui constitue le vrai problème. Le tri se fait en croisant avec la profondeur de clic et le nombre de liens internes entrants, deux données que le crawl fournit directement et qui suffisent à trancher entre les trois familles.

Visitées mais absentes du site

Cette population est souvent la plus instructive et la moins attendue. On y trouve les anciennes adresses qu'un moteur continue de tester des années après leur disparition, les adresses générées par des combinaisons de paramètres, les résultats de recherche interne indexés par accident, et parfois des pages réellement existantes que le crawl n'a pas trouvées faute de lien. Ce dernier cas signale un contenu orphelin découvert par le moteur autrement, par un lien externe ou par un plan de site oublié, ce qui mérite dans les deux cas d'être régularisé.

Absentes des deux

Il reste un ensemble théorique, celui des adresses qui n'existent ni sur le site ni dans les journaux, et qui n'a d'intérêt que pour une raison : c'est là que se trouvent les adresses figurant dans les outils pour webmasters ou dans les listes de liens entrants, et qui n'ont donc été ni explorées récemment ni retrouvées sur le site. Elles méritent un examen quand elles portent des liens externes, ces liens représentant une valeur acquise que l'on perd en les laissant aboutir nulle part.

Croiser avec le trafic réel

La dernière lecture consiste à ajouter à chaque adresse ses impressions et ses clics issus des outils pour webmasters. Une page jamais visitée par le robot et qui ne génère aucune impression pose une question simple : faut il l'améliorer, la lier davantage, ou la supprimer ? La réponse dépend de la valeur éditoriale du contenu, pas de sa situation technique. Une page jamais visitée mais qui génère encore des impressions signale un contenu indexé depuis longtemps et jamais revu, ce qui est une situation instable : la page finira par sortir de l'index si rien ne change, et le trafic correspondant disparaîtra sans préavis.

Corriger ce qui peut l'être

Le diagnostic ne vaut que par les décisions qu'il permet, et celles ci se répartissent en un petit nombre de leviers dont l'efficacité est très inégale. Le travail rejoint alors celui décrit dans notre article sur la manière de optimiser le maillage interne SEO sur WordPress.

Réduire la profondeur

C'est le levier le plus efficace sur les pages jamais visitées. Une page atteignable en deux clics depuis une page fréquentée est explorée sans difficulté et revisitée régulièrement ; la même page placée à six clics ne l'est presque jamais, quelle que soit la qualité de son contenu. Les moyens en sont connus et peu nombreux : liens contextuels depuis des contenus proches, pages de regroupement thématique, plan de site structurel accessible depuis le pied de page, et surtout révision de la pagination, qui est de très loin la principale cause de profondeur excessive sur les sites de contenu, une rubrique de quarante pages de liste plaçant mécaniquement ses articles les plus anciens à une distance considérable de l'accueil.

Lier depuis ce qui est déjà exploré

Ajouter un lien vers une page oubliée depuis une page visitée quotidiennement produit un effet en quelques jours, bien plus rapidement qu'une déclaration dans le plan de site, qui signale l'existence d'une page sans lui donner la moindre importance. Le choix de la page source compte plus qu'on ne l'imagine : mieux vaut un lien depuis un article fréquenté que dix liens depuis des pages elles mêmes rarement visitées. Le croisement fournit exactement l'information nécessaire pour choisir cette source, puisqu'il indique combien de fois chaque page a été visitée sur la période.

Supprimer ce qui n'a plus lieu d'être

Une part des pages jamais visitées ne mérite aucun effort de rattrapage : contenus périmés que plus personne ne consultera, doublons anciens, pages générées par une fonctionnalité abandonnée depuis des années. Les supprimer proprement, en répondant un code adapté et en retirant les liens qui y mènent, libère du budget d'exploration, allège le site et améliore mécaniquement les indicateurs de tous les segments. C'est une décision éditoriale, qui doit être prise avec le responsable du contenu plutôt que par le technicien, et qui suppose de vérifier au préalable qu'aucun lien externe ne pointe vers la page concernée.

Traiter le gaspillage constaté

Le symétrique du travail précédent porte sur les adresses très visitées et sans valeur, qui apparaissent dans la troisième population. Leur traitement, par consolidation des contenus, déclaration canonique ou blocage explicite selon les cas, libère mécaniquement de la capacité pour le reste du site. Sur la plupart des sites que nous auditons, ce levier produit à lui seul plus d'effet que tout ce qui précède, parce qu'il porte sur des volumes considérables et qu'il produit un effet en quelques semaines.

Distinguer le robot d'exploration de celui de rendu

Une lecture attentive des journaux fait apparaître que le moteur n'envoie pas un robot mais plusieurs, avec des rôles distincts : l'exploration des documents, le rendu des pages, la récupération des images, la vérification des flux marchands, l'inspection à la demande depuis les outils pour webmasters. Chacun se présente sous un nom différent et leur activité n'a pas la même signification. Une page vue uniquement par le robot d'inspection a été consultée parce qu'un humain l'a demandée, ce qui ne dit rien de son exploration naturelle. Une page dont seules les images sont récupérées n'a pas été explorée pour son contenu. Séparer ces populations dès le filtrage évite de conclure qu'une page est bien traitée alors qu'elle ne l'est que par un service annexe.

Faire du croisement un rendez vous régulier

Mené une seule fois, ce croisement produit un rapport que l'on classe. Répété, il devient l'indicateur le plus fiable de la santé structurelle d'un site.

Automatiser la chaîne

Les deux extractions, la normalisation et le croisement se scriptent entièrement, et le traitement complet tourne en quelques minutes sur un site de cinquante mille adresses. Une fois écrit, ce script se relance chaque mois sans aucun effort, et son résultat s'ajoute à une série chronologique qui montre l'évolution du taux de couverture par segment. C'est cette série, et non le relevé isolé, qui a de la valeur au bout de six mois. Le coût d'écriture, une journée environ, se rentabilise dès la troisième exécution, et la chaîne se transpose ensuite d'un client à l'autre avec quelques ajustements.

Suivre le taux de couverture

L'indicateur à retenir est la part des pages du site visitées au moins une fois sur la période, calculée segment par segment plutôt que globalement. Sa progression après une intervention sur le maillage est visible en quelques semaines, ce qui en fait l'un des rares indicateurs techniques dont l'effet d'une intervention se démontre chiffres à l'appui. Sa dégradation, elle, précède généralement une baisse de visibilité de plusieurs semaines, ce qui en fait un signal avancé rare et précieux.

Conserver les jeux de données

Les deux listes normalisées, conservées mois après mois, permettent des analyses rétrospectives qu'aucune restitution ne remplace. Elles pèsent quelques mégaoctets une fois compressées et répondent, un an plus tard, à des questions que personne ne s'était posées au moment de l'extraction, notamment sur la date exacte à laquelle un problème a commencé, information impossible à reconstituer autrement une fois les journaux effacés.

Restituer simplement

La présentation gagne à se limiter à quatre chiffres par segment, le nombre d'adresses, le taux de couverture, la profondeur moyenne et le nombre de pages orphelines, accompagnés d'une liste nominative des pages importantes jamais visitées. C'est cette liste nominative qui déclenche des décisions, bien plus qu'un pourcentage global que chacun interprète à sa manière. Elle a un autre mérite décisif : elle est immédiatement compréhensible par un responsable éditorial sans aucune explication technique, ce qui est rarement le cas des livrables d'audit technique, et qui explique qu'ils restent souvent sans suite. Le format le plus efficace reste une liste d'adresses triées par intérêt éditorial, avec pour chacune la date de dernière visite du robot, sans graphique ni tableau croisé, afin que la lecture ne demande aucun apprentissage.