Constituer un dataset de détection de défauts à partir d’images de production

Le rapport entre images disponibles et images annotées est le chiffre le plus révélateur d’un projet industriel. Un jeu de données de référence en inspection industrielle l’illustre par sa construction même : sur 18 000 images au total, 4 000 portent des annotations de segmentation couvrant 44 types de défauts, tandis que les 14 000 restantes sont publiées sans étiquette pour simuler le scénario riche en données et pauvre en annotations des situations réelles de production.

Ce déséquilibre décrit exactement la situation d’une usine. Les images ne manquent pas : une ligne équipée en produit des milliers par jour. Ce qui manque, c’est un corpus, c’est-à-dire un sous-ensemble choisi, documenté et annoté qui permette d’entraîner et surtout d’évaluer un modèle. Passer de l’un à l’autre est un travail de conception, pas de collecte.

Cet article traite de cette conception : que collecter et selon quelle stratégie, comment gérer la confidentialité, comment choisir les images à annoter et comment documenter le corpus obtenu. Il prolonge le guide complet de la détection de défauts.

Pourquoi la collecte précède la détection de défauts

Un corpus de détection de défauts se conçoit à l’envers, en partant de ce qu’il devra permettre de démontrer.

Deux corpus, deux logiques

La distinction la plus utile et la plus négligée sépare le corpus d’entraînement du corpus d’évaluation. Le premier sert à faire apprendre le modèle : il tolère un certain bruit, il gagne à être volumineux, et il peut être enrichi artificiellement en cas rares. Le second sert à mesurer : il doit être représentatif de la production réelle, annoté avec un soin supérieur et figé avant toute mesure.

Cette distinction a une conséquence contre-intuitive sur la collecte. Un corpus d’entraînement gagne à être enrichi en défauts, un corpus d’évaluation doit refléter la prévalence réelle. Les constituer avec la même stratégie d’échantillonnage revient soit à disposer d’un entraînement pauvre en défauts, soit à obtenir une mesure de performance qui ne dit rien du comportement en ligne.

Ce que le corpus doit couvrir

Quatre dimensions de variabilité doivent être représentées, et leur oubli est la cause principale des écarts entre pilote et production. La variabilité produit, c’est-à-dire les références, teintes, matières et lots. La variabilité process, c’est-à-dire les réglages machine, les équipes et les vitesses. La variabilité d’acquisition, c’est-à-dire les postes, les éclairages et leur vieillissement. Et la variabilité temporelle, puisqu’une collecte sur une semaine ne capte ni les saisons ni les campagnes exceptionnelles.

Cette dernière dimension mérite insistance. Les défauts industriels arrivent par vagues corrélées à des incidents de process, et une collecte courte produit un corpus qui reflète les incidents de cette période plutôt que la distribution réelle des modes de défaillance.

Les stratégies de collecte en détection de défauts

Trois approches coexistent, et un projet mature les combine plutôt que de choisir.

La collecte exhaustive

La première consiste à enregistrer tout ce qui passe, puis à trier. C’est la stratégie la plus simple à mettre en œuvre et la plus coûteuse en stockage. Elle a un mérite décisif : elle préserve la possibilité de constituer plus tard un corpus d’évaluation représentatif, ce qu’aucune collecte sélective ne permet de reconstituer. Sur une ligne à cadence élevée, elle suppose une politique de rétention et une architecture de stockage décidées en amont.

La collecte déclenchée

La deuxième n’enregistre que lorsqu’un événement se produit : rejet par le contrôle existant, alerte opérateur, changement de lot, incident machine. Cette approche produit un corpus dense en cas intéressants pour un coût de stockage modeste. Son biais est évident et doit être documenté : elle ne capte que ce que le dispositif existant détecte déjà, et manque structurellement les défauts que personne ne voit encore.

La collecte enrichie

La troisième consiste à produire délibérément des pièces défectueuses en déréglant volontairement le process. C’est la seule façon d’obtenir des exemples de défauts rares dans un délai raisonnable, et elle est couramment pratiquée. Sa limite est que les défauts provoqués ne ressemblent pas toujours aux défauts naturels : ils sont souvent plus francs, plus isolés et moins accompagnés des variations qui les accompagnent en production. Ces images conviennent à l’entraînement, beaucoup moins à l’évaluation.

Choisir quoi annoter : l’échantillonnage actif

Une fois les images collectées, la question devient laquelle annoter. C’est le levier d’économie principal d’un projet de détection de défauts, et il est bien documenté.

Le principe est itératif. L’approche consiste à annoter un petit lot initial, entraîner un premier modèle, puis lui faire sélectionner les images suivantes selon leur valeur d’apprentissage estimée. Une étude portant sur la détection de porosités sur pièces d’aluminium usinées rapporte que la stratégie la plus performante, combinant incertitude fondée sur l’entropie, diversité spatiale et sélection aléatoire, atteint un score F1 de 86,70 % et un rappel de 82,99 % après dix itérations en utilisant seulement 2 400 images annotées.

Le point important de ce résultat est la composition de la stratégie gagnante. L’incertitude seule concentre l’effort sur les cas ambigus mais néglige les zones où le modèle est confiant à tort. La diversité assure la couverture. La part aléatoire garantit qu’un biais de sélection ne s’installe pas. Les trois ensemble surpassent chacune prise isolément, ce qui plaide contre les approches monocritères.

Une limite doit toutefois être connue. Une analyse du domaine relève que l’apprentissage actif réduit le volume d’images annotées nécessaires, mais peut produire une vérité terrain incomplète en manquant les annotations de pièces défectueuses classées en faux négatifs et non interrogées par la stratégie de sélection.

Autrement dit, le modèle choisit ce qu’il sait déjà ne pas savoir, et reste aveugle à ce qu’il ignore ignorer. Deux parades s’imposent : conserver une part d’échantillonnage aléatoire à chaque itération, et constituer le corpus d’évaluation en dehors de la boucle de sélection active, par tirage indépendant.

La confidentialité en détection de défauts industrielle

C’est l’obstacle qui bloque le plus souvent un projet de détection de défauts avant même sa phase technique, et il est structurel plutôt qu’accidentel.

Un recensement des jeux de données industriels le formule clairement : dans la plupart des cas les industriels sont très confidentiels sur leurs données, si bien qu’il existe peu de jeux publics en fabrication, certains hésitant à partager par crainte pour la vie privée et la sécurité ou de donner un avantage à leurs concurrents.

Cette réticence est fondée. Une image de production révèle bien plus qu’un défaut : la géométrie d’une pièce et donc son dessin, l’état d’un outillage, les cadences, parfois le nom d’un client par un marquage. Un projet d’annotation doit donc traiter la confidentialité comme une contrainte de conception et non comme une clause contractuelle.

Ce qui protège réellement

Quatre mesures techniques couvrent l’essentiel du risque. Le travail en environnement distant contrôlé, sans copie locale, qui supprime le vecteur de fuite principal. Le cadrage restreint à la zone d’intérêt, qui évite de transmettre l’ensemble de la pièce quand seule une zone est inspectée. Le retrait ou le floutage des marquages, références client et identifiants portés par la pièce. Et l’anonymisation des métadonnées de production, dates et numéros de lot pouvant être remplacés par des identifiants de travail.

S’y ajoute une précaution souvent oubliée : les personnes. Une image prise en ligne capte parfois des mains, un badge, un reflet. Sur ce point la réglementation sur les données personnelles s’applique pleinement, et le protocole doit prévoir l’exclusion ou le traitement de ces images.

Le lieu du travail

Une question pratique découle des mesures précédentes : où les annotateurs travaillent-ils. Trois configurations existent, du plus au moins contraignant. L’annotation sur site, dans les locaux du client, offre la protection maximale et une disponibilité immédiate de l’expertise métier, au prix d’une capacité limitée et d’un coût élevé. L’accès distant à un environnement hébergé par le client combine sécurité et capacité, et constitue le compromis le plus fréquent. Le transfert vers l’environnement du prestataire est le plus souple et suppose une confiance contractuelle établie ainsi que des garanties vérifiables, une certification de sécurité de l’information facilitant nettement cette démonstration.

La question de la réutilisation

Le point contractuel le plus sensible porte sur ce que devient le corpus. Trois régimes sont possibles et doivent être explicités : usage strictement limité au projet avec suppression en fin de mission, conservation par le client seul, ou autorisation d’un usage dérivé par le prestataire. Le troisième régime, qui permettrait à un prestataire d’améliorer ses modèles génériques, est légitime mais doit être négocié explicitement et non supposé.

Documenter un corpus de détection de défauts

Un corpus de détection de défauts non documenté perd l’essentiel de sa valeur en quelques mois, parce que personne ne sait plus ce qu’il contient ni ce qu’il ne contient pas.

Six éléments constituent la documentation minimale d’un corpus de détection de défauts. L’origine, c’est-à-dire les lignes, postes et périodes de collecte. La stratégie d’échantillonnage employée, avec ses biais assumés. La composition, ventilée selon les dimensions de variabilité pertinentes. Les critères d’inclusion et d’exclusion appliqués. Le protocole d’annotation dans sa version applicable, avec l’historique des changements. Et la séparation entraînement, validation, test, avec la règle qui l’a produite.

Cette documentation n’est pas seulement une bonne pratique. Sans elle, il devient impossible de diagnostiquer une contre-performance : on ne peut pas savoir si un modèle échoue sur une configuration parce qu’elle est difficile ou parce qu’elle était absente du corpus. Ces deux causes appellent des réponses opposées.

Qualifier les images avant de les annoter

Une étape intermédiaire est régulièrement sautée dans les projets de détection de défauts : le tri de qualité des images collectées. Sur un flux de production, une part non négligeable des acquisitions est inexploitable, pour des raisons qui n’ont rien à voir avec le défaut recherché.

Cinq motifs reviennent : pièce mal positionnée ou hors champ, flou de mouvement, saturation par un reflet, obstruction par un élément de convoyage, et acquisition déclenchée à vide. Leur proportion se situe couramment entre quelques pour cent et plusieurs dizaines selon la maturité de l’installation.

Deux raisons rendent ce tri indispensable. La première est économique : annoter une image inexploitable coûte le même temps qu’une image utile et n’apporte rien. La seconde est méthodologique : ces images doivent constituer une classe documentée plutôt que d’être silencieusement écartées, car leur taux est un indicateur direct de la santé de l’installation et sa dérive signale un problème mécanique avant qu’il n’affecte la production.

La séparation des jeux

Une erreur technique fréquente mérite un traitement séparé, parce qu’elle invalide silencieusement toute mesure de performance.

La séparation entre entraînement et test doit être opérée au niveau de l’unité physique et non de l’image. Plusieurs images d’une même pièce, plusieurs vues d’un même défaut, plusieurs acquisitions d’une même bobine réparties entre les deux ensembles produisent une performance surestimée qu’aucune analyse ultérieure ne corrige.

Sur les produits continus, la règle est encore plus stricte : deux segments voisins d’une même bobine se ressemblent fortement, et la séparation doit se faire par bobine plutôt que par segment. Idéalement, le corpus de test provient de lots ou de périodes distincts de ceux de l’entraînement, ce qui rapproche la mesure de la situation réelle de déploiement.

Le stockage et le cycle de vie des images

Une contrainte matérielle décide souvent de ce qui sera possible plus tard, et elle se tranche au démarrage.

Une ligne équipée de plusieurs caméras haute résolution produit des volumes qui rendent la conservation intégrale coûteuse au delà de quelques semaines. La politique de rétention est donc un arbitrage : conserver longtemps permet de reconstituer un corpus représentatif a posteriori, conserver peu réduit le coût mais ferme définitivement cette possibilité.

Le compromis usuel combine trois durées. Une rétention courte et exhaustive, qui laisse le temps de sélectionner. Une rétention longue et échantillonnée, tirée aléatoirement à taux fixe, qui préserve la capacité à constituer un corpus d’évaluation représentatif. Et une rétention permanente pour les images annotées et les cas remarquables. Ce dispositif coûte peu et protège contre le regret le plus courant des projets industriels, celui de découvrir six mois plus tard qu’une période intéressante n’a pas été conservée.

Combien d’images

La question arrive systématiquement dans les projets de détection de défauts et n’a pas de réponse générale, mais elle a une méthode.

Le volume nécessaire dépend principalement de trois facteurs : le nombre de classes, la difficulté visuelle de chacune et l’étendue de la variabilité normale à couvrir. Une tâche à deux classes franches sur un produit stable se traite avec quelques centaines d’exemples par classe. Une tâche à vingt classes dont plusieurs diffuses, sur un produit à forte variabilité, en demande un ordre de grandeur de plus.

La méthode utile consiste à mesurer plutôt qu’à estimer. Un lot pilote annoté puis un modèle entraîné sur des fractions croissantes du corpus produisent une courbe de performance en fonction du volume, dont l’aplatissement indique le point au delà duquel annoter davantage rapporte peu. Cette courbe se construit en quelques jours et remplace utilement les règles empiriques.

Un point mérite d’être ajouté : le corpus d’évaluation obéit à une autre logique. Sa taille dépend de la précision statistique recherchée sur la mesure, et non du besoin d’apprentissage. Pour établir un taux de défaut résiduel faible avec une incertitude acceptable, il faut un nombre de pièces conformes bien supérieur à ce que l’intuition suggère.

Le rôle des données synthétiques

La génération d’images artificielles est fréquemment présentée comme la réponse au manque de défauts en détection de défauts industrielle. Elle a une place réelle, à condition d’en connaître le périmètre.

Elle fonctionne bien pour augmenter la diversité d’apparence de défauts déjà observés : variations de position, d’orientation, d’échelle, de contraste. Elle fonctionne moins bien pour créer des types de défauts jamais vus, puisqu’il faut alors modéliser un phénomène physique que l’on ne connaît pas. Et elle ne peut en aucun cas servir à l’évaluation, un modèle mesuré sur des images qu’il a en partie apprises à générer ne mesurant rien.

La règle prudente est d’employer le synthétique en complément dans le corpus d’entraînement, en documentant précisément la proportion et la méthode, et de maintenir le corpus d’évaluation intégralement réel.

Organiser la collecte dans le temps

La collecte n’est pas une phase d’un projet de détection de défauts mais une fonction permanente, et l’organiser comme telle change la trajectoire d’un projet.

Trois flux distincts méritent d’être institués dès le départ. La collecte initiale, dimensionnée par le lot pilote et conçue pour couvrir la variabilité connue. La collecte d’exception, déclenchée à chaque nouveau mode de défaillance, changement de matière ou de réglage. Et la collecte de désaccord, alimentée par les cas où le système et l’opérateur divergent, qui est la source la plus riche en information une fois le système en ligne.

Cette organisation suppose une infrastructure minimale : un stockage avec politique de rétention, une convention de nommage rattachant chaque image à sa pièce, sa ligne, sa date et son lot, et un processus d’annotation capable d’absorber des lots petits et fréquents plutôt que seulement de gros lots ponctuels.

Le partage des rôles avec le client industriel

Un projet de constitution de corpus de détection de défauts fait intervenir deux parties dont les compétences ne se recouvrent pas, et clarifier la répartition évite l’essentiel des frictions.

Le client industriel détient ce que personne d’autre ne peut fournir : l’accès aux images, la connaissance du process, le référentiel qualité et la capacité à provoquer des défauts pour enrichir le corpus. Il détient aussi la contrainte de confidentialité et la décision sur ce qui peut sortir du site.

Le prestataire apporte la méthode d’échantillonnage, la rédaction du protocole, la capacité d’annotation et le dispositif de contrôle. Il apporte surtout un regard extérieur sur les catégories, ce qui a une valeur propre : les équipes qualité manipulent depuis des années un vocabulaire dont certaines distinctions ne sont pas visuellement fondées, et les expliciter est souvent utile indépendamment du projet.

La zone de friction la plus fréquente concerne le rythme. Une usine raisonne en campagnes de production, un projet d’annotation en lots hebdomadaires, et l’attente d’un lot de matière particulier peut immobiliser une équipe. L’anticiper par un calendrier de collecte partagé, plutôt que de découvrir la contrainte en cours de route, est une mesure simple et efficace.

Les erreurs les plus fréquentes

• Constituer entraînement et évaluation avec la même stratégie d’échantillonnage.
• Collecter sur une période courte et manquer la variabilité temporelle.
• Séparer les jeux au niveau de l’image plutôt qu’au niveau de la pièce ou du lot.
• S’appuyer uniquement sur la collecte déclenchée et hériter du biais du dispositif existant.
• Utiliser des défauts provoqués dans le corpus d’évaluation.
• Employer une sélection active monocritère et créer un angle mort.
• Constituer le corpus d’évaluation à l’intérieur de la boucle de sélection active.
• Traiter la confidentialité comme une clause contractuelle plutôt qu’une contrainte de conception.
• Ne pas documenter la composition et l’échantillonnage, rendant tout diagnostic impossible.
• Utiliser des images synthétiques pour mesurer la performance.

Ce qu’il faut retenir

Constituer un corpus de détection de défauts n’est pas une opération de collecte mais de conception. Les images abondent, ce qui manque est un ensemble dont on connaît la composition, les biais et les limites, et qui permet de mesurer autant que d’apprendre.

Trois décisions structurent un corpus utilisable. Séparer dès l’origine la logique du corpus d’entraînement, enrichi en défauts et tolérant, de celle du corpus d’évaluation, représentatif et figé. Employer une sélection active combinant incertitude, diversité et aléatoire pour réduire le volume annoté, tout en maintenant l’évaluation hors de cette boucle. Et documenter origine, échantillonnage et composition dès le premier lot, puisque c’est la seule information réellement irrécupérable.

Pour les approches, l’ontologie et les tâches d’annotation, le guide complet de la détection de défauts pose le cadre. Pour la question du profil des personnes qui annoteront ce corpus, et de la connaissance produit que la tâche exige réellement, l’article consacré aux annotateurs formés au métier détaille les compétences requises et l’organisation des itérations avec les équipes techniques.

Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation pour l’industrie. Et si vous disposez d’images de production et souhaitez cadrer la stratégie de constitution du corpus avant de lancer l’annotation, échangeons sur votre projet.