Comment normaliser automatiquement les libellés produit ?

Un catalogue alimenté par quatre fournisseurs contient quatre façons d'écrire la même chose. Le premier met la marque en tête et tout en majuscules, le deuxième la place à la fin entre parenthèses, le troisième la remplace par un code interne, le quatrième l'oublie une fois sur trois. Les dimensions sont tantôt en centimètres tantôt en millimètres, avec ou sans espace avant l'unité, séparées par des croix, des lettres ou des barres obliques. Le résultat est une désignation produit illisible, une recherche interne inefficace et des pages qui se positionnent mal. Reprendre ces libellés à la main n'est envisageable qu'en dessous de quelques centaines de références, ce qui rend nécessaire une méthode de normalisation automatique, avec ses limites assumées.

D'où vient le désordre

Comprendre la nature exacte du désordre conditionne entièrement le traitement, parce que les libellés hétérogènes ne le sont pas au hasard : ils suivent chacun une logique interne, simplement différente des autres. Ce problème est le prolongement direct de celui que nous traitons à propos de l'importation de produits depuis un fichier mal formé.

Chaque fournisseur a ses conventions

Un catalogue fournisseur est écrit pour l'usage interne de ce fournisseur, pas pour la revente. L'ordre des composants, les abréviations et le vocabulaire reflètent son organisation commerciale, sa gamme et parfois son logiciel de gestion. Ces conventions sont stables dans le temps chez un même fournisseur, ce qui est une bonne nouvelle : elles peuvent être décrites une fois puis appliquées à tous ses produits. La difficulté n'est donc pas de traiter du chaos mais de traiter plusieurs ordres différents et incompatibles entre eux, ce qui est un problème bien plus facile. Il suffit d'accepter de traiter chaque source séparément, plutôt que de chercher une règle universelle qui n'existe pas.

Des informations mélangées dans un seul champ

Un libellé contient couramment la marque, la gamme, le modèle, la couleur, la matière, une ou plusieurs dimensions, un conditionnement et parfois une mention commerciale. Toutes ces informations devraient vivre dans des champs distincts et se retrouvent concaténées, souvent parce que le fichier d'échange ne prévoit qu'une colonne de désignation. Le travail de normalisation consiste donc d'abord à défaire cette concaténation, opération d'extraction bien plus utile qu'une simple reformulation, puisqu'elle produit au passage des attributs exploitables pour le filtrage et les données structurées. Une fois ces champs peuplés, la reconstruction d'une désignation lisible devient presque triviale, alors qu'elle paraissait insurmontable tant que tout restait dans une seule chaîne de caractères.

Les unités et les abréviations

Les dimensions concentrent l'essentiel des variations : unités différentes, séparateurs décimaux différents, ordre des cotes variable, abréviations non standardisées. À cela s'ajoutent les abréviations métier propres à chaque secteur, souvent non documentées et parfois ambiguës, une même abréviation pouvant désigner deux choses selon la famille de produits. Ce point impose de traiter famille par famille plutôt que sur l'ensemble du catalogue, faute de quoi les règles se contredisent et le traitement produit des résultats faux avec une confiance parfaite. Un exemple banal suffit à s'en convaincre : deux lettres identiques peuvent désigner un diamètre dans une famille et une matière dans une autre, et rien dans le libellé ne permet de trancher sans connaître la famille.

Les caractères parasites

Espaces multiples, espaces insécables, guillemets typographiques mélangés, caractères issus d'un mauvais décodage, retours à la ligne au milieu d'un champ, tirets de plusieurs types : ces scories rendent tout traitement automatique instable si elles ne sont pas éliminées en préalable. Leur nettoyage est mécanique et sans risque, il doit être la toute première étape, et il résout à lui seul une partie visible du problème d'affichage, souvent celle qui avait motivé la demande initiale. Ce nettoyage doit toutefois être documenté, car il modifie des données et un catalogue passé plusieurs fois dans un traitement mal écrit finit par accumuler des transformations dont plus personne ne connaît l'origine.

Ce que cela coûte réellement

Le coût ne se limite pas à l'esthétique. Une recherche interne fondée sur des libellés incohérents ne trouve pas les produits que le client cherche, ce qui se mesure directement en ventes manquées. Le référencement souffre également, les balises de titre héritant de ces désignations. Enfin, la comparaison entre fournisseurs devient impossible, ce qui empêche de détecter les doublons et de choisir la meilleure source pour un même article, avec des conséquences directes sur la marge et sur la gestion des stocks. Sur un catalogue alimenté par plusieurs grossistes, la seule détection des doublons entre sources justifie régulièrement à elle seule l'ensemble du chantier de normalisation.

Décomposer avant de reformuler

La tentation consiste à corriger les libellés par remplacements successifs. C'est une impasse : le nombre de règles croît indéfiniment et elles finissent par se contredire. La bonne approche extrait d'abord les composants, comme le suppose la structuration d'un catalogue à attributs variables.

Identifier la structure d'un libellé

Sur un échantillon d'une centaine de libellés d'un même fournisseur et d'une même famille, la structure apparaît presque toujours clairement : un ordre récurrent, des séparateurs constants, des positions stables. Ce travail d'observation prend une heure et détermine tout le reste. Il doit être refait pour chaque couple fournisseur et famille, ce qui paraît lourd mais reste très inférieur au temps passé à corriger des résultats obtenus sans avoir compris la structure sous jacente. L'observation doit porter sur des libellés réels tirés au hasard, et non sur les exemples fournis par le fournisseur, qui sont invariablement les plus propres de son catalogue.

Extraire la marque

La marque s'extrait par comparaison avec une liste de marques connues plutôt que par position, la position variant trop. Cette liste se constitue en observant les valeurs les plus fréquentes puis s'enrichit à chaque import. La comparaison doit tolérer les variantes de casse, les accents et quelques fautes courantes, sans devenir trop permissive : une correspondance approximative trop tolérante attribue des produits à des marques qu'ils ne portent pas, erreur bien plus grave qu'une extraction manquée. La bonne pratique consiste à exiger une correspondance exacte après normalisation de la casse et des accents, et à envoyer tout le reste dans la file de reprise manuelle.

Extraire le modèle et la référence

Les références fournisseur suivent en général un format reconnaissable, mélange de lettres et de chiffres avec une longueur stable. Elles s'extraient par motif, et leur retrait du libellé simplifie considérablement le reste du traitement. Attention toutefois à ne pas confondre une référence avec une dimension ou un code de couleur, confusion fréquente sur les catalogues techniques, et à conserver la référence extraite dans son propre champ où elle sera précieuse pour le rapprochement entre sources. Une même référence retrouvée chez deux fournisseurs signale immédiatement un doublon potentiel, information qu'aucun autre champ ne fournit avec autant de fiabilité.

Extraire les attributs mesurables

Les dimensions, poids, volumes et puissances s'extraient par motif numérique suivi d'une unité, puis se convertissent immédiatement vers une unité de référence unique choisie par famille. Cette conversion doit intervenir à l'extraction et non à l'affichage, faute de quoi la comparaison entre produits reste impossible. Le stockage sépare la valeur numérique et l'unité, seule façon de permettre ensuite un filtrage par intervalle, qui est une des fonctions les plus utilisées sur les catalogues techniques. Elle rend également possible le contrôle de cohérence : une longueur de trois millimètres sur un meuble ou de trois mètres sur une vis signale une erreur d'unité à la source.

Ce qui reste après extraction

Le reliquat, une fois tous les composants identifiés extraits, contient soit du bruit à supprimer, soit une information non prévue par le modèle. Analyser ce reliquat sur l'ensemble d'un lot est le meilleur indicateur de qualité du traitement : un reliquat court et répétitif signale un traitement bien réglé, un reliquat long et varié signale une structure mal comprise. Cette analyse doit être faite systématiquement avant d'appliquer le traitement au catalogue complet. Elle prend dix minutes et évite de découvrir après coup que dix pour cent des produits ont perdu une information au passage.

Conserver l'original

Le libellé fournisseur d'origine doit être conservé dans un champ dédié, sans exception. Il sert à rejouer un traitement amélioré, à diagnostiquer une extraction douteuse, à retrouver un produit dans le catalogue du fournisseur et à répondre à une réclamation. Son coût de stockage est négligeable, sa perte est irréversible, et les catalogues où il a été écrasé sont ceux où toute amélioration ultérieure du traitement devient impossible sans redemander les fichiers sources. Il est également prudent de conserver la date de réception et le nom du fichier d'origine, informations minuscules qui font gagner des heures lors d'un litige sur une caractéristique produit.

Reconstruire un libellé propre

Une fois les composants isolés, la désignation affichée se reconstruit par assemblage. C'est l'étape la plus simple techniquement et la plus discutée en interne, parce qu'elle touche à l'image commerciale.

Choisir un gabarit par famille

Un gabarit décrit l'ordre et le format des composants pour une famille donnée. Les besoins diffèrent réellement d'une famille à l'autre : la dimension est déterminante sur des consommables, secondaire sur des vêtements où la couleur prime. Définir cinq à dix gabarits couvre en général l'essentiel d'un catalogue, et ce nombre reste maîtrisable. Ces gabarits doivent vivre dans un fichier de configuration modifiable sans intervention technique, faute de quoi ils ne seront jamais ajustés. Un gabarit se teste sur une vingtaine de produits représentatifs avant d'être appliqué, et cette relecture par une personne du métier attrape des maladresses commerciales qu'aucun contrôle automatique ne détecterait.

Ordonner les composants

L'ordre le plus efficace commercialement place en tête ce qui identifie le produit et ce que le client tape dans une recherche, généralement la marque puis le type de produit puis le modèle. Les attributs secondaires viennent ensuite. Cet ordre sert aussi le référencement, la partie initiale d'un titre ayant plus de poids, sujet que nous développons dans notre article sur l'optimisation SEO de la description d'un produit.

Normaliser la casse

Les libellés entièrement en majuscules doivent être ramenés à une casse normale, opération moins triviale qu'il n'y paraît puisqu'il faut préserver les acronymes, les marques dont la graphie est particulière et les unités. Une liste d'exceptions est indispensable, et elle s'enrichit progressivement. Le résultat vaut l'effort : un catalogue en majuscules paraît daté, se lit mal sur mobile et se fait tronquer plus tôt dans les résultats de recherche, faute que l'on ne remarque plus une fois habitué. Le passage en casse normale se fait par mot avec une liste d'exceptions plutôt que par une règle générale, la seule approche qui préserve correctement les graphies de marques.

Traiter les unités

Les unités s'écrivent selon une convention unique, avec une espace insécable entre la valeur et le symbole, sans point abréviatif et sans pluriel. Cette rigueur paraît excessive et produit pourtant un effet visible immédiat sur la perception de sérieux du catalogue. Elle facilite en outre les traitements ultérieurs, notamment la génération de données structurées où les unités doivent suivre un vocabulaire normalisé que l'on ne peut pas déduire d'une écriture libre. Cette normalisation vaut aussi pour les séparateurs de dimensions, dont l'unification rend enfin les libellés comparables entre eux.

Gérer la longueur

Chaque canal impose ses limites, et un libellé reconstruit doit pouvoir être tronqué proprement. La solution consiste à définir un ordre de priorité entre composants et à retirer les moins importants jusqu'à respecter la contrainte, plutôt qu'à couper la chaîne au caractère près. Cette mécanique se code une fois et sert partout, du titre de la page au flux destiné aux comparateurs, avec des limites différentes selon la destination. Le libellé complet, non tronqué, reste disponible dans son propre champ pour l'affichage sur la fiche produit, où aucune contrainte de longueur ne s'applique.

Industrialiser sans se piéger

Le traitement doit tourner à chaque import, sans supervision, tout en laissant une place aux corrections humaines qu'il ne doit jamais écraser.

Traiter par lots et par famille

Appliquer les règles à tout le catalogue d'un coup rend impossible l'évaluation du résultat. Le traitement par lot restreint à un fournisseur et une famille permet de contrôler quelques dizaines de résultats avant de valider, puis de passer au lot suivant. Cette progression prend plus de temps calendaire mais évite la situation classique du catalogue entier traité en une nuit et dont personne n'ose plus rien toucher parce que nul ne sait ce qui a été modifié. Le contrôle porte sur un échantillon tiré au hasard et non sur les premiers résultats de la liste, qui sont rarement représentatifs.

Le taux de couverture comme indicateur

Pour chaque lot, la proportion de libellés dont tous les composants attendus ont été extraits constitue l'indicateur de pilotage. Un taux supérieur à quatre vingt dix pour cent permet de passer à la suite, un taux plus faible signale une structure mal comprise. Cet indicateur doit être conservé lot par lot, car sa dégradation lors d'un import ultérieur est le signal le plus fiable d'un changement de format côté fournisseur, changement rarement annoncé. Une alerte automatique sur la baisse de cet indicateur évite de découvrir le problème plusieurs semaines après le premier import dégradé.

La file des cas non traités

Les libellés que le traitement n'a pas su décomposer doivent rejoindre une file de reprise manuelle plutôt que d'être publiés tels quels ou ignorés. Cette file se traite par lots courts, et chaque correction manuelle doit alimenter les listes de référence pour que le cas suivant soit traité automatiquement. C'est ce cycle qui fait converger le dispositif, et son absence explique les traitements automatiques dont le taux de réussite stagne indéfiniment. Chaque correction doit donc être aussi rapide à enregistrer qu'à effectuer, sans quoi personne ne prendra le temps d'alimenter les listes.

Ne jamais écraser sans trace

Un libellé corrigé à la main ne doit pas être écrasé par le traitement automatique au prochain import. Un indicateur porté par le produit signale les champs verrouillés manuellement, et le traitement les respecte. Sans ce mécanisme, l'équipe qui corrige constate que son travail disparaît chaque semaine et cesse assez vite de corriger, ce qui condamne l'ensemble de la démarche de qualité de données. Le verrouillage doit rester visible dans l'interface, afin que chacun sache pourquoi un produit ne suit pas le traitement général.

Rejouer à chaque import

Le traitement doit être une transformation reproductible appliquée entre la source et le catalogue, et non une opération de nettoyage effectuée une fois. Cette distinction est fondamentale : elle garantit qu'un fournisseur nouvellement ajouté ou un fichier reçu six mois plus tard subissent exactement le même traitement. Elle permet aussi d'améliorer les règles puis de tout rejouer depuis les libellés originaux conservés, sans perte et sans intervention manuelle.

Le seuil où l'humain reste indispensable

Aucun traitement automatique n'atteint cent pour cent, et vouloir y parvenir coûte plus cher que de traiter le reliquat à la main. Le bon dosage consiste à automatiser jusqu'à un taux de couverture élevé puis à accepter une file résiduelle traitée par une personne, en volume compatible avec quelques heures par mois. Fixer explicitement ce seuil évite la course sans fin à la règle supplémentaire, qui absorbe des semaines de développement pour quelques dizaines de produits.