Comment détecter les doublons produit dans un catalogue importé ?

Un catalogue alimenté par plusieurs sources finit toujours par contenir le même article deux fois. Parfois trois, sous des libellés différents, avec des prix différents et des stocks qui se contredisent. Le client, lui, voit deux fiches presque identiques et se demande laquelle choisir, quand il ne conclut pas simplement que la boutique est mal tenue. Détecter les doublons produit n'a rien d'un exercice théorique : chaque doublon dilue le référencement de la fiche légitime, fausse les statistiques de vente et provoque des ruptures inexpliquées. La difficulté tient à ce que la notion de doublon est moins évidente qu'il n'y paraît, et qu'une détection trop agressive fait plus de dégâts qu'elle n'en répare.

Ce qu'est un doublon, et ce qui n'en est pas

La première étape consiste à définir précisément ce qu'on cherche, faute de quoi l'outil de détection remontera des centaines de faux positifs et sera abandonné après une demi journée d'examen manuel.

Le même article physique

Un doublon strict est le même article physique, avec le même identifiant normalisé du commerce, présent deux fois dans le catalogue. C'est le cas le plus net et le plus facile à traiter, et il représente en général la majorité des cas réels sur un catalogue alimenté par plusieurs grossistes. Il se détecte mécaniquement dès lors que l'identifiant est renseigné, ce qui n'est malheureusement pas toujours le cas. Sur les catalogues industriels et sur les produits fabriqués sur mesure, ces identifiants sont absents par nature, ce qui impose de recourir d'emblée aux méthodes suivantes.

La même référence chez deux fournisseurs

Un article distribué par deux grossistes arrive deux fois avec deux références fournisseur différentes mais le même identifiant fabricant. Il s'agit bien du même produit, et le catalogue doit n'en présenter qu'un, avec la meilleure source retenue selon le prix, le stock ou le délai. Ce cas est le plus intéressant commercialement, puisque sa résolution permet de choisir dynamiquement le meilleur approvisionnement. La fiche du catalogue devient alors un produit unique auquel sont rattachées plusieurs offres fournisseurs, modèle nettement plus riche qu'une simple suppression de l'une des deux.

Les déclinaisons prises pour des doublons

Deux fiches ne différant que par une couleur ou une taille ne sont pas des doublons mais des déclinaisons mal modélisées. Le traitement est différent : il ne s'agit pas de supprimer l'une des deux mais de les regrouper sous un produit parent. Confondre les deux situations conduit à supprimer des références réellement vendues, erreur bien plus coûteuse qu'un doublon laissé en place. La détection doit donc signaler ces cas comme des regroupements à opérer et non comme des suppressions à effectuer, ce qui suppose une catégorie distincte dans le rapport produit.

Les produits similaires mais distincts

Deux articles de même marque, de même gamme et de dimensions proches peuvent avoir des libellés presque identiques tout en étant réellement différents. C'est le cas typique des consommables techniques, où un millimètre de différence change tout. Une détection fondée sur la ressemblance textuelle les regroupera systématiquement, ce qui explique pourquoi les méthodes approximatives doivent toujours passer par une validation humaine. Sur ces familles, il vaut mieux renoncer purement et simplement à la détection approximative et s'en tenir aux identifiants.

Les lots et les conditionnements

Le même produit vendu à l'unité et par lot de dix constitue deux références commerciales distinctes, avec des prix et des identifiants différents, même s'il s'agit du même article physique. Les traiter comme des doublons casse une partie de l'offre. Ce cas mérite un champ dédié au conditionnement, ce qui permet à la fois de les distinguer et de les présenter ensemble sur une même fiche, ce qui est généralement le meilleur choix commercial. Le client voit alors les deux options côte à côte et choisit celle qui lui convient, ce qui augmente le panier moyen au lieu de disperser les ventes.

Ce que coûte un doublon laissé en place

Deux fiches pour un même produit se partagent les liens entrants, les avis clients et l'historique de ventes, ce qui affaiblit les deux. Elles produisent des stocks incohérents, la même unité étant comptée deux fois. Elles compliquent le service client, qui ne sait pas laquelle consulter. Enfin, elles dégradent la perception de sérieux de la boutique, effet difficile à mesurer et parfaitement réel pour qui compare deux fiches contradictoires. Un client hésitant devant deux fiches du même produit affichant deux prix différents conclut rarement que la moins chère est la bonne affaire, et bien plus souvent que la boutique n'est pas fiable.

Les méthodes de détection

Trois familles de méthodes se combinent, de la plus fiable à la plus approximative. Il faut les appliquer dans cet ordre et traiter les résultats de chacune avant de passer à la suivante.

Le rapprochement par identifiant normalisé

La comparaison des identifiants du commerce est la méthode de référence : elle ne produit aucun faux positif quand les identifiants sont corrects, et son taux de couverture dépend uniquement de leur taux de renseignement. Sur un catalogue bien tenu, elle détecte à elle seule l'essentiel des doublons. Sa mise en œuvre tient en une requête de regroupement, ce qui en fait la première chose à faire avant toute autre investigation. Elle donne également une mesure immédiate de l'ampleur du problème, information utile pour dimensionner le chantier avant de s'y engager. Le sujet est développé dans notre article sur la manière de garantir des identifiants produit stables entre ses flux.

Le contrôle de validité de ces identifiants

Ces identifiants comportent une clé de contrôle calculée à partir des autres chiffres, ce qui permet de vérifier leur validité sans base externe. Un identifiant invalide signale une faute de saisie, un décalage de colonne dans un fichier ou une valeur inventée. Ce contrôle doit précéder tout rapprochement, faute de quoi deux identifiants erronés identiques créeront un faux doublon, cas plus fréquent qu'on ne l'imagine sur les fichiers remplis à la main. La valeur composée uniquement de zéros, ou reprise du produit précédent par recopie, sont les deux formes que prend le plus souvent ce défaut.

Le rapprochement par référence fabricant

Lorsque l'identifiant normalisé manque, la combinaison de la marque et de la référence fabricant constitue le meilleur substitut. Elle demande une normalisation préalable des deux champs, la même référence pouvant s'écrire avec ou sans tirets, en majuscules ou non. Cette normalisation relève du même travail que celui décrit dans notre article sur la manière de normaliser automatiquement les libellés produit.

L'empreinte sur les attributs

Une empreinte calculée à partir des attributs structurants, marque, famille, dimensions normalisées, matière, permet de rapprocher des produits dont aucun identifiant ne correspond. Cette méthode ne fonctionne que si les attributs ont été correctement extraits au préalable, ce qui la rend dépendante de la qualité du travail de normalisation. Elle donne d'excellents résultats sur les catalogues techniques et de très mauvais sur les catalogues où tout vit dans le libellé. Elle a en outre le mérite de signaler au passage les produits dont les attributs sont incomplets, information utile en elle même.

La comparaison textuelle approximative

La mesure de distance entre deux libellés permet de remonter des candidats que rien d'autre n'aurait rapprochés. C'est la méthode la plus large et la moins fiable : elle produit beaucoup de faux positifs et doit toujours alimenter une file de validation humaine plutôt qu'un traitement automatique. Son intérêt réel est de traiter le reliquat, une fois les méthodes fiables épuisées, sur un volume devenu raisonnable. Appliquée d'emblée sur un catalogue entier, elle produit des milliers de candidats et décourage définitivement l'équipe chargée de les examiner.

La comparaison par image

Sur les catalogues où les visuels proviennent du fabricant, deux fiches portant exactement la même image sont presque certainement le même produit. Une empreinte calculée sur le fichier image détecte ce cas instantanément et sans ambiguïté. Cette méthode, rarement employée, s'avère redoutablement efficace sur les catalogues alimentés par des flux fournisseurs, où les visuels circulent tels quels d'un distributeur à l'autre. Elle demande simplement de conserver l'empreinte de chaque image au moment de son enregistrement, calcul instantané et sans coût de stockage significatif.

Que faire d'un doublon détecté

La détection ne représente que la moitié du travail. Le traitement engage le référencement, l'historique commercial et parfois la comptabilité, ce qui mérite une décision explicite plutôt qu'une suppression rapide.

Choisir la fiche survivante

La fiche à conserver n'est pas nécessairement la plus ancienne. Elle doit être celle qui dispose du meilleur contenu, du plus de liens entrants, des avis clients et de l'historique de ventes. Un rapide examen de ces quatre critères tranche dans la plupart des cas. Conserver systématiquement la plus ancienne par facilité conduit à supprimer des fiches bien positionnées au profit de fiches vides, erreur dont on ne mesure les effets que plusieurs mois plus tard. Un tableau comparatif des quatre critères, produit automatiquement pour chaque paire, rend cette décision immédiate.

Fusionner plutôt que supprimer

Les informations présentes uniquement sur la fiche supprimée doivent être reportées sur la survivante : description complémentaire, images supplémentaires, attributs renseignés, avis clients. Cette fusion demande du travail et constitue précisément ce qui distingue un nettoyage réussi d'une suppression brutale. Elle mérite d'être scriptée pour les champs simples et traitée à la main pour le contenu rédactionnel. Une règle utile consiste à conserver, pour chaque champ, la valeur la plus complète des deux fiches plutôt que celle de la fiche survivante.

Rediriger les adresses

La fiche supprimée doit rediriger définitivement vers la survivante, sans exception. Une fiche produit accumule des liens externes, des favoris et des références dans des historiques de commande, et sa disparition sans redirection produit des pages d'erreur pour des visiteurs déjà intéressés. Cette redirection doit être posée au moment de la suppression et non plus tard, quand personne ne se souviendra plus de la correspondance entre les deux adresses. Il vaut mieux automatiser cette pose dans le script de fusion que compter sur une intervention manuelle ultérieure.

Reporter les stocks et les commandes

Les commandes passées sur la fiche supprimée continuent d'exister et doivent rester consultables. La suppression pure et simple d'un produit référencé dans un historique de commandes casse l'affichage de ces commandes, ce qui pose un problème comptable autant que fonctionnel. La plupart des systèmes gèrent correctement ce cas en conservant une copie des données du produit dans la ligne de commande, mais ce point doit être vérifié avant toute suppression massive. Le contrôle consiste simplement à ouvrir une commande ancienne contenant le produit concerné après la suppression, sur un environnement de test.

Traiter la source plutôt que le symptôme

Un doublon détecté vient d'une source, et cette source continuera d'en produire. Le rapprochement doit donc être enregistré, sous forme d'une correspondance entre la référence de la source et le produit du catalogue, faute de quoi le prochain import recréera exactement la même fiche. Cette table de correspondance est le véritable livrable du travail de dédoublonnage, bien plus que la liste des fiches supprimées. Elle doit être conservée durablement et sauvegardée au même titre que le catalogue lui même.

Documenter la décision

Chaque fusion mérite une trace indiquant quelles fiches ont été rapprochées, quelle a été conservée et pourquoi. Sans cette trace, une fusion erronée est impossible à annuler, et personne ne saura répondre à un fournisseur demandant pourquoi sa référence n'apparaît plus. Un simple fichier journalisant les opérations suffit et coûte quelques lignes de code au moment du traitement. Ce journal doit rester lisible sans outil particulier, un simple fichier tabulé faisant parfaitement l'affaire.

Empêcher qu'ils reviennent

Un catalogue nettoyé une fois se resalit en quelques mois si rien ne change dans le processus d'alimentation. Les mesures de prévention coûtent bien moins cher que le nettoyage.

Contrôler à l'import

La détection doit s'exécuter au moment de l'import, avant la création des fiches, et non après coup sur le catalogue en place. Un produit dont l'identifiant existe déjà doit mettre à jour la fiche existante plutôt que d'en créer une nouvelle. Ce seul changement supprime la majeure partie du problème et se met en place en quelques heures, comme nous l'évoquons dans notre article sur l'importation de produits depuis un fichier mal formé.

Rendre l'identifiant obligatoire

Un produit sans identifiant normalisé ne peut pas être rapproché de façon fiable, ce qui fait de son absence la cause première des doublons. Exiger cette information des fournisseurs, et refuser les lignes qui en sont dépourvues, est une position dure mais efficace. Lorsque cette exigence n'est pas tenable, une file de traitement manuel pour les produits sans identifiant limite les dégâts, à condition que quelqu'un la traite réellement. Une file jamais traitée est pire qu'une absence de file, puisqu'elle donne l'illusion que le problème est pris en charge.

Bloquer la création manuelle sans contrôle

Les doublons naissent aussi de la création manuelle, quand une personne ne trouve pas un produit existant et le recrée. Une recherche automatique sur l'identifiant et sur la référence au moment de la création, avec un avertissement en cas de correspondance, évite la moitié de ces cas. L'autre moitié tient à une recherche interne d'administration défaillante, sujet qu'il vaut mieux traiter que contourner. Une recherche d'administration acceptant les fautes de frappe et les recherches partielles supprime à elle seule une bonne partie des créations en double.

Surveiller un indicateur

Le nombre de produits partageant un même identifiant, calculé chaque semaine, constitue un indicateur simple et parlant. Sa remontée signale immédiatement une régression dans le processus d'import ou l'arrivée d'une nouvelle source mal configurée. Cet indicateur doit être visible par les personnes qui gèrent le catalogue et non seulement par l'équipe technique, faute de quoi personne ne le regardera.

Traiter par lots réguliers

Une session de dédoublonnage d'une heure par mois maintient le catalogue en état, là où une reprise complète tous les trois ans demande plusieurs semaines. La régularité compte davantage que l'exhaustivité, et un traitement partiel mais constant donne de meilleurs résultats qu'un grand chantier suivi d'un abandon. C'est vrai de la qualité de données en général, et particulièrement de ce sujet. La régularité permet en outre de traiter les doublons récents, dont l'historique est encore faible et la fusion beaucoup plus simple.

Accepter un taux résiduel

Aucun catalogue alimenté par plusieurs sources n'atteint zéro doublon, et viser ce résultat coûte plus cher que la valeur récupérée. Un taux résiduel de quelques dixièmes de pour cent est parfaitement acceptable sur un catalogue vivant. Fixer explicitement ce seuil évite les chantiers sans fin, et permet de concentrer l'effort sur les familles de produits où les doublons ont le plus d'impact commercial.