Comment se passe réellement l'indexation d'un PDF ?

Les documents PDF sont indexés depuis plus de vingt ans et restent pourtant traités comme une zone d'ombre, ce qui produit des décisions prises au jugé : on désindexe tout par précaution, ou on ne fait rien du tout. Le traitement réel est pourtant assez bien documenté et parfaitement observable. Un moteur télécharge le document, en extrait le texte, cherche un titre, suit les liens qu'il contient et le classe comme il classerait une page. Comprendre chacune de ces étapes permet de décider en connaissance de cause quels documents laisser dans l'index, lesquels en retirer, et surtout comment faire en sorte qu'un PDF indexé ne travaille pas contre le site qui l'héberge.

Ce que le moteur extrait du document

Le traitement commence par une extraction de texte, et tout ce qui suit en dépend entièrement. Un document dont l'extraction échoue est un document invisible, quel que soit son contenu réel. Cette étape explique la plupart des comportements observés, y compris les plus déroutants.

Le texte, et seulement le texte

L'extraction récupère les caractères réellement présents dans le fichier, dans l'ordre où le générateur les a écrits. Cet ordre ne correspond pas toujours à l'ordre de lecture visuel, notamment sur les mises en page en colonnes ou avec des encadrés, ce qui produit un texte extrait mélangé alors que le document est parfaitement lisible à l'écran. Le moteur travaille sur cette version mélangée, pas sur ce que voit l'œil humain, et il en tire des conclusions parfois surprenantes sur le sujet du document. Le contrôle est immédiat : une copie du contenu du document collée dans un éditeur de texte brut montre exactement ce que voit le moteur, exercice qui suffit à expliquer bien des positionnements incompréhensibles.

Les documents scannés

Un document produit par numérisation ne contient aucun caractère, seulement une image par page. Sans couche de reconnaissance de caractères, il n'y a rien à extraire et le document ne sera indexé que sur son nom de fichier et sur le contexte de ses liens entrants. Les grands moteurs appliquent parfois une reconnaissance automatique, avec des résultats inégaux, mais il ne faut pas compter dessus. Un document destiné à être trouvé doit contenir du texte réel, ce qui se vérifie en tentant simplement de sélectionner une phrase à l'écran. Cette vérification vaut aussi pour les documents anciens repris d'archives papier, qui constituent le gros des cas problématiques sur les sites institutionnels.

Les images et les graphiques

Tout ce qui est graphique est ignoré : schémas, courbes, tableaux composés en image, infographies. Un document dont l'information principale réside dans ses illustrations est donc largement vide aux yeux du moteur, situation extrêmement fréquente sur les fiches techniques et les rapports d'activité. Les légendes et les textes d'accompagnement deviennent alors le seul contenu exploitable, ce qui justifie d'y consacrer un peu de soin plutôt que de les réduire à une numérotation sèche. Une phrase de description sous chaque figure apporte au document un contenu exploitable et améliore par ailleurs son accessibilité, bénéfice qui dépasse largement la seule question du référencement.

La structure du document

Les documents produits correctement contiennent des marqueurs de structure indiquant les titres, les paragraphes et les tableaux. Ces marqueurs sont exploités quand ils existent, ce qui améliore nettement la compréhension du document. La plupart des fichiers produits par export bureautique en contiennent, ceux produits par des outils de mise en page souvent pas. Cette différence, invisible à l'écran, sépare les documents que le moteur comprend de ceux dont il ne tire qu'une bouillie de phrases sans hiérarchie. Le choix de l'outil d'export a donc plus d'influence sur le résultat que toutes les optimisations effectuées ensuite sur le fichier produit.

Le volume traité

Les moteurs appliquent une limite au volume de texte extrait d'un même fichier, de l'ordre de quelques mégaoctets de contenu textuel. Un document de plusieurs centaines de pages sera donc partiellement traité, et sa fin ignorée. Cette limite concerne peu de documents en pratique, mais elle explique qu'un catalogue volumineux ne se positionne que sur les thèmes abordés dans ses premières pages, comportement qui déroute tant qu'on ne connaît pas la cause. Découper un document volumineux en plusieurs fichiers thématiques résout le problème et améliore au passage l'expérience de consultation.

Le titre, les liens et les signaux

Une fois le texte extrait, le moteur doit décider comment présenter et classer le document. Les mécanismes ressemblent à ceux d'une page, avec des sources d'information différentes et souvent plus pauvres. Ces points rejoignent ce que nous décrivons à propos des fiches techniques PDF et de leur optimisation.

D'où vient le titre affiché

Le titre proposé dans les résultats provient en priorité de la propriété de titre inscrite dans les métadonnées du fichier. Cette propriété est très souvent absente, ou renseignée avec une valeur automatique du type Document sans nom, ou pire avec le nom du modèle utilisé. Le moteur se rabat alors sur la première ligne de texte importante, ou sur le nom du fichier. C'est la raison pour laquelle tant de documents apparaissent dans les résultats sous un intitulé absurde, défaut qui se corrige en trente secondes dans les propriétés du document. Sur un lot de fichiers déjà en ligne, la correction peut être appliquée par lot avec un outil en ligne de commande, sans avoir à rouvrir chaque document dans son logiciel d'origine.

Le nom du fichier compte

Le nom du fichier joue à la fois comme signal de contenu et comme titre de repli. Un fichier nommé avec une référence interne et une date ne dit rien à personne, alors qu'un nom explicite et lisible aide le moteur et rassure le visiteur avant même l'ouverture. Cette règle est banale et pourtant très mal appliquée, la plupart des documents en ligne portant le nom que leur a donné le logiciel qui les a produits ou le service qui les a transmis. Un nom de fichier se change facilement avant publication et beaucoup plus difficilement après, l'adresse étant alors déjà diffusée, ce qui plaide pour une convention posée dès le départ.

Les liens contenus dans le document

Les liens présents dans un PDF sont suivis et transmettent de la valeur, exactement comme les liens d'une page. Un document largement diffusé et lié depuis l'extérieur peut donc alimenter les pages du site vers lesquelles il pointe, à condition que ces liens existent. Beaucoup de documents n'en contiennent aucun, ce qui les transforme en impasses. Ajouter en tête et en pied de page un lien vers la page de rattachement coûte une ligne et change la nature du document dans l'écosystème du site. Ces liens doivent être de vrais liens cliquables et non de simples adresses écrites en texte, distinction que les outils de mise en page ne gèrent pas toujours automatiquement.

Les liens entrants vers le document

Un document accumule des liens externes comme n'importe quelle adresse, et ces liens ne bénéficient au site que très indirectement. C'est l'argument le plus solide en faveur d'une organisation où le document est présenté par une page qui le décrit et propose son téléchargement : les liens externes pointent alors vers la page plutôt que vers le fichier, et la valeur reste dans un contenu que l'on maîtrise et que l'on peut faire évoluer. Cette organisation présente en outre l'avantage de permettre le remplacement du document sans casser les liens externes, puisque seule la page est référencée à l'extérieur.

La langue et le pays

La langue est déterminée à partir du texte extrait, sans possibilité de déclaration explicite comparable à celle d'une page. Un document multilingue, ou contenant beaucoup de termes techniques anglais, peut être classé dans la mauvaise langue et présenté à la mauvaise audience. Il n'existe pas de correctif simple à cette situation, ce qui plaide pour des documents monolingues plutôt que pour des fichiers combinant plusieurs versions linguistiques dans un même fichier. Sur un site multilingue, produire un document par langue reste la seule approche réellement satisfaisante, malgré le travail supplémentaire que cela représente.

La date et la fraîcheur

Les métadonnées de création et de modification sont lues, mais elles sont notoirement peu fiables : un fichier régénéré porte une date récente sans que son contenu ait changé, un fichier copié conserve parfois une date ancienne. Le moteur s'appuie donc davantage sur la date de découverte et sur le contexte de la page qui héberge le lien. Faire figurer la date en clair dans le document lui même reste le moyen le plus sûr de la communiquer, aux moteurs comme aux lecteurs. Une mention de version et de date en pied de chaque page évite en outre qu'un extrait imprimé ne circule sans que l'on puisse savoir de quand il date.

Les problèmes que cela crée

Ces mécanismes produisent trois situations problématiques qui reviennent dans presque tous les audits, et qui ont chacune une réponse claire une fois le fonctionnement compris.

Le document qui remplace la page

C'est le cas le plus fréquent : un document reprenant le contenu d'une page se positionne à sa place, généralement parce qu'il est plus dense en texte et plus ciblé. Le visiteur atterrit sur un fichier sans navigation, sans formulaire et sans possibilité d'action, ce qui transforme une visite qualifiée en visite perdue. La réponse consiste à déclarer une canonique par en-tête, méthode que nous détaillons dans notre article sur la canonique déclarée pour un fichier non HTML.

La duplication interne

Un même document déposé plusieurs fois, dans des répertoires différents ou sous des noms différents, crée autant d'adresses portant un contenu identique. Cette situation est banale sur les sites où plusieurs personnes téléversent des fichiers sans convention commune. Elle relève exactement du même traitement que la duplication de pages, sujet que nous développons dans notre article sur le duplicate content et ses corrections.

Les documents obsolètes qui survivent

Un tarif de l'année précédente, une plaquette d'une gamme abandonnée, une notice d'un produit retiré continuent d'être servis et trouvés longtemps après avoir cessé d'être valides. Le problème n'est pas de référencement mais de qualité de service : un client peut se prévaloir d'un document toujours accessible. La réponse est organisationnelle avant d'être technique, et consiste à décider explicitement du sort de chaque document à chaque mise à jour, plutôt que d'empiler les versions. Un répertoire d'archives clairement identifié, avec une mention de non validité en tête de chaque document, constitue un compromis acceptable lorsque la conservation est obligatoire.

Les informations qui ne devaient pas sortir

Les documents conservent des métadonnées, un historique de révisions, parfois des commentaires ou des zones masquées derrière un aplat. Tout cela reste présent dans le fichier et peut être extrait, y compris par un moteur. Le contrôle avant publication doit inclure une inspection des propriétés du document et un aplatissement des éléments masqués, précaution rarement prise et qui a déjà produit des incidents notables dans des organisations sérieuses. Un contrôle systématique avant mise en ligne, même rapide, coûte infiniment moins cher que la gestion d'une fuite d'information.

La consommation d'exploration

Sur un site comptant plusieurs milliers de documents, l'exploration de ces fichiers, souvent lourds, consomme une part significative des ressources que le moteur consacre au site. Ces requêtes se font au détriment de la découverte des pages nouvelles. C'est un argument concret en faveur d'un tri, et il se vérifie facilement dans les journaux du serveur en comparant le volume de requêtes portant sur les fichiers à celui portant sur les pages. Un rapport supérieur à un tiers signale un déséquilibre qui mérite une intervention.

Que faire concrètement

La démarche tient en cinq étapes, dont la première est de loin la plus instructive et prend moins d'une heure sur la plupart des sites.

Faire l'inventaire

Une interrogation du moteur restreinte au domaine et au type de fichier donne la liste des documents indexés, et un parcours du site avec un outil d'exploration donne la liste des documents liés. La comparaison des deux listes est riche d'enseignements : elle révèle des documents indexés que plus rien ne lie, et des documents liés que le moteur ignore. Ces deux catégories appellent des traitements opposés et méritent d'être identifiées avant toute décision. La première révèle souvent des dépôts oubliés dans des répertoires anciens, la seconde des documents rendus inaccessibles par une protection ou une erreur de configuration.

Trier par intention

Chaque document se range dans une des trois catégories : il double une page existante, il apporte une information unique, ou il n'a plus d'utilité. Le premier cas appelle une canonique, le deuxième une page de présentation dédiée, le troisième une suppression avec redirection. Ce tri est éditorial et ne peut pas être automatisé, mais il va vite dès lors que la question est posée dans ces termes plutôt qu'en termes techniques. Une session d'une heure avec la personne qui connaît le contenu suffit généralement à trancher une centaine de documents.

Corriger les métadonnées

Renseigner le titre et l'auteur dans les propriétés des documents importants améliore immédiatement leur présentation dans les résultats. L'opération se fait document par document dans le logiciel d'origine, ou par lot avec un outil en ligne de commande sur un ensemble de fichiers. Sur un site en comptant quelques dizaines, l'intervention manuelle est plus rapide à mettre en œuvre que l'automatisation, et elle permet au passage de relire ce que l'on publie.

Ajouter les liens de retour

Chaque document doit contenir, en première et en dernière page, l'adresse de la page qui le présente et celle du site. Ce détail transforme un fichier isolé en porte d'entrée, permet au lecteur d'aller plus loin et alimente le site en liens internes. Il facilite aussi la vie de qui reçoit le document par courriel plusieurs mois plus tard et cherche à savoir d'où il vient et s'il est toujours à jour.

Décider d'une convention

Un répertoire unique, une convention de nommage, une règle sur les métadonnées et une décision par défaut sur l'indexation suffisent à éviter que le désordre ne se reconstitue. Cette convention doit tenir en cinq lignes et être connue de toutes les personnes qui déposent des fichiers, faute de quoi l'inventaire sera à refaire dans deux ans, avec exactement les mêmes constats et le même temps passé.

Contrôler périodiquement

Un contrôle annuel, reprenant l'interrogation du moteur et la comparaison avec les documents réellement liés, suffit à maintenir la situation. Il détecte les dépôts sauvages, les documents oubliés et les versions obsolètes encore accessibles. Ce contrôle prend une demi heure et évite la reprise complète qui devient nécessaire lorsque plusieurs années se sont écoulées sans que personne ne regarde ce qui se trouve réellement dans les répertoires de fichiers.