Nettoyer un index gonflé de pages inutiles : la méthode en trois passes

Un site publiant huit cents pages et dont l'index en contient douze mille a un problème, même si personne ne l'a remarqué. Ces pages supplémentaires n'ont pas été créées volontairement : elles proviennent de paramètres d'adresse, de combinaisons de filtres, de pages d'archives auto générées, de versions dupliquées ou de contenus de test oubliés. Leur présence dilue les signaux, consomme l'exploration et fait apparaître dans les résultats des pages que vous n'auriez pas choisi de montrer. Le nettoyage se mène en trois passes successives, dont l'ordre compte autant que le contenu.

Mesurer l'ampleur et identifier les familles

La première passe ne modifie rien : elle établit le diagnostic. Se lancer dans des corrections sans avoir compris d'où viennent les pages parasites conduit à traiter les symptômes les plus visibles en laissant les mécanismes qui les produisent. Cette phase prend une demi journée et elle détermine l'efficacité de tout le reste. Les mécanismes généraux de retrait sont décrits dans notre article sur la désindexation et sa méthode de fonctionnement.

Compter ce qui existe réellement

Le point de départ consiste à établir le nombre d'adresses que le site publie volontairement, tous types de contenus confondus. Ce chiffre s'obtient depuis l'administration ou par une requête, et il surprend parfois par sa précision retrouvée. Le comparer au nombre de pages connues du moteur donne immédiatement le facteur de gonflement. Un rapport de un à deux est banal, un rapport de un à dix signale un mécanisme qu'il faut identifier. Ce chiffre unique constitue le meilleur point de départ pour une discussion avec un client, car il se comprend sans aucune explication technique.

Lire les rapports d'indexation

Les outils pour webmasters classent les pages connues par état et par motif, ce qui constitue la source la plus riche pour cette analyse. Les catégories des pages indexées et des pages connues mais non indexées se lisent séparément et racontent des histoires différentes. Des exemples d'adresses accompagnent chaque motif, et c'est en les parcourant que les familles apparaissent. Une demi heure de lecture attentive vaut mieux que n'importe quel outil automatique. Les exemples fournis sont volontairement limités en nombre, ce qui impose de revenir plusieurs fois pour couvrir l'ensemble des motifs.

Explorer le site en entier

Une exploration complète, menée avec un outil dédié, produit la liste des adresses réellement accessibles depuis le maillage. La comparer avec la liste des pages indexées fait apparaître deux ensembles instructifs : les adresses indexées mais non liées, souvent parasites, et les adresses liées mais non indexées, souvent le vrai sujet. Ce croisement demande un tableur et une heure. Il constitue le cœur du diagnostic. Les adresses indexées sans être liées depuis nulle part sont particulièrement instructives, puisqu'elles révèlent des mécanismes de génération que le maillage ne montre pas.

Repérer les motifs d'adresse

Les pages parasites partagent presque toujours un motif reconnaissable : un paramètre précis, un segment de chemin, une extension de fichier. Trier les adresses indexées par motif regroupe des milliers de cas en cinq ou six familles. Ce regroupement est ce qui rend le nettoyage praticable, chaque famille se traitant par une règle unique. Passer directement au traitement sans ce regroupement condamne à traiter page par page. Sur douze mille adresses, cette approche est simplement impossible à mener à son terme.

Les familles les plus courantes

Les paramètres de tri et de filtrage arrivent en tête, suivis des pages d'archives par étiquette ou par auteur, des résultats de recherche interne, des pages de pagination profonde et des adresses de suivi de campagne. S'y ajoutent selon les sites les variantes de casse, les adresses avec et sans barre oblique finale, et les pages de test laissées en ligne. Chacune appelle un traitement différent, ce qui justifie l'étape de classement. Un même site en cumule fréquemment quatre ou cinq, chacune produite par un mécanisme distinct sans rapport avec les autres.

Chiffrer chaque famille

Noter le nombre d'adresses concernées par famille permet de prioriser. Une famille de six mille adresses mérite un traitement soigné, une famille de douze peut être traitée à la main ou ignorée. Ce chiffrage oriente l'effort et il permet aussi de mesurer le résultat plus tard. Il tient dans un tableau de six lignes, qui devient le document de travail de tout le chantier. Y ajouter une colonne pour l'état d'avancement transforme ce tableau en outil de suivi sur toute la durée de l'opération.

Deuxième passe, choisir le traitement

Chaque famille appelle une réponse parmi cinq possibles, et le choix a des conséquences très différentes sur l'exploration et sur les signaux transmis.

La canonique vers la version de référence

Lorsque les pages parasites sont des variantes d'une page légitime, tri différent d'une même liste, adresse avec paramètre de campagne, la canonique désignant la version de référence est la réponse adaptée. Elle regroupe les signaux sur une seule adresse sans interdire l'exploration. C'est la solution la plus douce et elle demande du temps pour produire son effet. Elle est indicative et non impérative, ce qui signifie que le moteur peut ne pas la suivre s'il constate des contenus trop différents. C'est précisément le cas des listes filtrées, dont le contenu diffère nettement de la liste de base, ce qui explique que la canonique y produise parfois un effet partiel.

La directive de non indexation

Lorsque les pages n'ont aucune version de référence et aucune valeur en résultat, résultats de recherche interne, pages d'archives sans intérêt, la directive interdisant l'indexation est la réponse. Elle doit autoriser le suivi des liens, faute de quoi elle isole les pages liées depuis ces adresses. Son effet demande que le robot repasse sur chaque page, ce qui prend des semaines sur les gros volumes. La patience est ici la principale qualité requise. Sur plusieurs milliers d'adresses peu visitées par le robot, le délai peut atteindre plusieurs mois, ce qui doit être annoncé dès le départ.

La redirection permanente

Lorsque les pages parasites correspondent à d'anciennes adresses ou à des variantes de forme, casse, barre oblique, protocole, la redirection est la réponse la plus nette. Elle transfère les signaux et supprime définitivement la variante. Elle doit pointer vers la page équivalente et non vers l'accueil, une redirection massive vers l'accueil étant traitée comme une erreur. Ce point est régulièrement mal fait lors des refontes. Une table de correspondance établie avec soin, même longue, produit un résultat sans commune mesure avec une règle générale approximative.

Le code de ressource disparue

Lorsque les pages ne doivent tout simplement plus exister, contenus de test, produits définitivement retirés, un code signalant la disparition définitive accélère le retrait par rapport à un simple code d'absence. Les deux fonctionnent et le premier est plus explicite. Il faut simplement s'assurer qu'aucun lien interne ne pointe encore vers ces adresses, sans quoi le maillage envoie les robots vers des impasses. Une exploration menée après le traitement vérifie ce point en quelques minutes et signale les liens restants.

Le blocage d'exploration

Interdire l'exploration dans le fichier des robots est la seule réponse qui n'a pas sa place dans une opération de nettoyage d'index. Elle empêche le robot de lire les directives de retrait, ce qui fige la situation. Elle trouve sa place plus tard, une fois les pages désindexées, pour économiser l'exploration. Cette question d'ordre est le point le plus important de tout l'article et elle rejoint les mécanismes exposés dans notre article sur le budget de crawl de Googlebot et ses principes.

Traiter la cause

Aucune de ces réponses ne sert si le mécanisme qui produit les adresses continue de tourner. Un catalogue générant des adresses de filtre à l'infini doit être repris, une extension créant des archives inutiles doit être configurée, un maillage pointant vers des variantes doit être corrigé. Ce travail est moins visible que le traitement des symptômes et il est le seul qui règle définitivement la question. Le négliger conduit à refaire le même chantier deux ans plus tard. C'est aussi la partie la plus difficile à faire accepter, puisqu'elle touche à des fonctions que quelqu'un a demandées.

Troisième passe, exécuter dans le bon ordre

L'ordre des opérations détermine si le nettoyage aboutit en trois mois ou reste bloqué pendant un an. Il est contre intuitif et il mérite d'être suivi à la lettre.

Laisser l'exploration ouverte

Toutes les pages à traiter doivent rester explorables pendant toute la durée de l'opération. Le robot doit pouvoir venir constater la directive de retrait, la redirection ou le code de disparition. Fermer l'exploration en premier, réflexe naturel, gèle la situation et les pages restent indexées indéfiniment. Cette règle simple est violée dans la majorité des tentatives de nettoyage. Elle est contre intuitive parce que l'on cherche instinctivement à empêcher le robot de voir ce que l'on veut retirer.

Poser les traitements famille par famille

Traiter une famille à la fois, en laissant passer quelques semaines entre chacune, permet d'observer l'effet de chaque intervention. Tout appliquer simultanément rend impossible d'attribuer une variation à une cause. Cette progression allonge l'opération de quelques mois et elle la rend pilotable. Commencer par la famille la plus volumineuse donne le résultat le plus visible en premier. Cette visibilité aide à maintenir l'attention sur un chantier qui s'étale sur plusieurs mois.

Retirer les liens internes

Les pages à désindexer ne doivent plus être liées depuis le site, faute de quoi le moteur continue de les considérer comme voulues. Ce nettoyage du maillage accompagne chaque traitement et il est souvent oublié. Il concerne les menus, les blocs de contenus liés, les plans de site et les fils de navigation. Une exploration après intervention vérifie que plus aucun lien ne subsiste. Les liens présents dans les contenus rédactionnels sont les plus faciles à oublier, personne ne pensant à les chercher.

Mettre à jour les plans de site

Le plan de site XML ne doit contenir que des adresses indexables et voulues. Y laisser des pages en cours de désindexation envoie un signal contradictoire. Cette mise à jour est immédiate et elle accélère la prise en compte, le fichier étant consulté régulièrement. Un plan de site généré automatiquement inclut parfois les pages à retirer, ce qui impose de vérifier son contenu réel plutôt que de faire confiance au réglage. Un découpage par type de contenu facilite au passage le suivi du résultat, comme nous l'expliquons dans notre article sur le sitemap XML par type de contenu.

Attendre et mesurer

Le retrait de milliers de pages prend de deux à six mois selon le volume et l'attention que le moteur porte au site. Relever chaque mois le nombre de pages indexées, par famille lorsque le découpage le permet, montre la progression. Cette courbe descendante est le seul indicateur fiable de réussite. Elle rassure aussi le client, qui voit le travail produire un effet mesurable. Un graphique mensuel, même sommaire, communique mieux qu'un rapport détaillé sur ce type d'opération.

Fermer l'exploration en dernier

Une fois les pages sorties de l'index, et seulement à ce moment, interdire leur exploration dans le fichier des robots économise le budget consacré à les revisiter. Cette dernière étape est facultative et elle est utile sur les très gros volumes. La mener trop tôt annule tout le travail précédent. C'est la conclusion logique de la séquence ouvrir, retirer, fermer. Sur un site de taille moyenne, cette dernière étape peut d'ailleurs être omise sans conséquence notable.

Vérifier et prévenir la rechute

Un nettoyage réussi se dégrade en quelques mois si rien n'empêche les mécanismes de reprendre. La prévention représente la moitié de la valeur du travail.

Suivre l'écart entre publié et indexé

Le rapport entre le nombre de pages publiées et le nombre de pages indexées constitue l'indicateur de santé à surveiller. Relevé mensuellement, il détecte une dérive avant qu'elle ne devienne un chantier. Un tableau de deux colonnes suffit à le tenir. C'est la surveillance la plus économique du sujet. Elle demande cinq minutes par mois et elle détecte des problèmes qui coûteraient plusieurs jours de travail six mois plus tard.

Contrôler après chaque évolution

L'ajout d'une fonction de filtrage, d'un nouveau type de contenu ou d'une extension peut produire une nouvelle famille d'adresses. Un contrôle du nombre de pages indexées un mois après chaque évolution significative attrape ces apparitions. Ce réflexe s'acquiert vite et il évite les découvertes tardives. Il mérite de figurer dans la liste de contrôle des mises en production. Une ligne suffit, rappelant simplement de relever le nombre de pages indexées un mois après la livraison.

Poser les règles à la conception

Décider dès la conception quelles combinaisons de filtres seront explorables, quelles archives seront générées et quels paramètres seront canonisés coûte une heure et évite tout le chantier. Cette discussion doit avoir lieu au moment des maquettes, avec les personnes qui décident des fonctions. Elle est presque toujours reportée et jamais tenue. C'est pourtant le seul moment où elle ne coûte rien. Une fois le site en ligne, chaque décision devient une correction, avec les délais et les risques qui l'accompagnent.

Documenter les traitements posés

Une note listant chaque famille, le traitement appliqué et sa raison évite qu'un intervenant ultérieur ne défasse le travail en croyant corriger une anomalie. Elle permet aussi de reprendre le chantier plus tard sur les familles laissées de côté. Cette documentation tient sur une page. Son absence explique pourquoi tant de sites nettoyés retrouvent leur index gonflé après une refonte. Elle doit être relue systématiquement lors de toute reprise de gabarit ou de changement d'extension de référencement.

Ne pas viser le zéro

Un index contenant quelques pour cent de pages non voulues est une situation normale sur un site vivant. Chercher la perfection consomme un temps considérable pour un gain nul. L'objectif raisonnable consiste à ramener le facteur de gonflement sous une valeur acceptable, puis à surveiller. Savoir s'arrêter fait partie de la méthode. Le critère pratique consiste à s'arrêter lorsque les familles restantes comptent moins de quelques dizaines d'adresses chacune.

Mesurer l'effet réel

Le nettoyage améliore l'exploration et la clarté des signaux, sans produire mécaniquement une hausse de trafic. Annoncer un gain de positions serait malhonnête. Ce qui se mesure, ce sont la fréquence de passage sur les pages importantes, le délai de prise en compte des nouveautés et la disparition des pages parasites en résultat. Ces trois indicateurs suffisent à justifier le travail et ils correspondent à ce qu'il produit réellement. Les présenter ainsi dès le départ évite les déceptions et rend la relation avec le client bien plus saine.