Faux positifs, faux négatifs – les métriques d’un modèle de détection de défauts

Un système d’inspection ne se juge pas sur son exactitude. Il se juge sur la façon dont il répartit ses erreurs entre deux catégories dont les coûts n’ont rien de comparable, et cette répartition est un réglage, pas une propriété du modèle.

L’ampleur du problème est documentée. Une étude sur l’inspection en semi-conducteur relève que dans des conditions complexes, les systèmes d’inspection optique automatisée produisent des faux positifs conduisant à des taux de surdétection supérieurs à 20 %, ce qui gaspille des produits parfaits et augmente le coût du fait de la nécessité d’une réinspection manuelle. Un produit sur cinq écarté à tort, dans une industrie où la valeur unitaire est élevée.

Cet article traite de cette asymétrie : comment nommer les erreurs, comment chiffrer leurs coûts respectifs, comment choisir un point de fonctionnement et pourquoi les métriques usuelles ne suffisent pas. Il prolonge le guide complet de la détection de défauts.

Nommer les erreurs en détection de défauts

Le vocabulaire de la détection de défauts varie entre les statistiques et l’atelier, et cette divergence est une source de malentendus dans les projets.

Deux vocabulaires pour les mêmes objets

Un faux positif désigne une pièce conforme signalée comme défectueuse. L’atelier parle de faux rejet, de surdétection ou de fausse alerte. Un faux négatif désigne une pièce défectueuse déclarée conforme. L’atelier parle de fuite, d’échappement ou de non-détection.

Cette dualité mérite d’être tranchée au démarrage du projet. Un cahier des charges qui mêle les deux vocabulaires produit des discussions où chacun croit parler de la même chose. La convention la plus sûre consiste à employer le vocabulaire de l’atelier dans les échanges avec le client, puisque c’est celui qui décrit les conséquences réelles, et à réserver le vocabulaire statistique aux documents techniques.

Le piège de la classe positive

Une confusion plus subtile guette. Selon que l’on considère le défaut ou la conformité comme la classe positive, faux positif et faux négatif s’inversent. Sur un système d’inspection, la convention usuelle fait du défaut la classe positive, mais elle n’est pas universelle.

La parade est simple et rarement appliquée : ne jamais rapporter un taux sans nommer explicitement ce qu’il compte. « Taux de pièces conformes écartées » et « taux de pièces défectueuses acceptées » ne prêtent à aucune ambiguïté, contrairement à « taux de faux positifs » employé seul.

L’asymétrie des coûts en détection de défauts

C’est le fondement de tout le raisonnement, et il est bien formulé dans la littérature.

Une étude sur les détecteurs d’anomalies en contexte industriel déséquilibré l’exprime ainsi : un faux négatif sur un produit défectueux signifie qu’il passe à l’étape suivante, résultat indésirable, mais la gravité de l’échec de détection dépend entièrement de l’application ; dans le cas du contrôle bactériologique d’aliments, un faux négatif peut conduire à une hospitalisation, tandis que dans le cas d’un défaut cosmétique comme une bulle de peinture, le risque d’insatisfaction client est bien moindre ; à l’inverse, un taux élevé de faux positifs peut entraîner du gaspillage inutile, des arrêts coûteux ou de la fatigue d’alarme.

La même source souligne un point décisif : selon la façon dont le système qualité est intégré à la ligne de production, le taux de faux positifs ou le taux de faux négatifs peut être plus important que le taux d’erreur global. Autrement dit, l’exactitude globale n’est pas seulement insuffisante, elle est structurellement non pertinente.

Chiffrer les deux coûts

Le réglage suppose de connaître le rapport entre les deux coûts, ce qui demande un travail que peu de projets mènent.

Le coût d’un faux rejet se compose de la valeur de la pièce écartée si elle est détruite, du temps de vérification manuelle si elle est réexaminée, et de l’impact sur le rendement de ligne. Il est généralement direct, immédiat et facile à établir.

Le coût d’une fuite est plus difficile à cerner parce qu’il dépend de l’endroit où le défaut sera découvert. Détecté à l’étape suivante, il coûte une reprise. Détecté en fin de ligne, il coûte davantage. Livré au client, il coûte le retour, le remplacement, éventuellement l’immobilisation d’une installation et une atteinte à la relation commerciale. Sur les produits critiques, il peut coûter une responsabilité juridique.

Ce raisonnement conduit à une observation utile : le coût d’une fuite croît fortement avec la distance parcourue avant sa découverte. C’est précisément l’argument économique en faveur d’un contrôle placé tôt dans la chaîne, et il vaut mieux que n’importe quel argument de performance.

Le point de fonctionnement

Un modèle de détection de défauts produit un score continu, et la décision naît d’un seuil appliqué à ce score. Déplacer ce seuil échange une erreur contre l’autre sans améliorer le modèle.

Un choix économique, pas technique

Le choix du seuil ne relève ni de l’équipe technique ni d’un optimum statistique. Il relève du rapport de coûts établi précédemment, donc d’une décision du service qualité ou de la direction industrielle. Un prestataire qui livre un seuil sans avoir posé la question du rapport de coûts a pris cette décision à la place de son client.

Deux repères aident à situer les cas usuels en pratique. Lorsque la fuite est catastrophique, sécurité, santé, pièce critique, le seuil se règle vers le rappel maximal et le coût des faux rejets est accepté comme le prix de la sûreté. Lorsque le faux rejet est directement destructeur, produit détruit par le test, matière coûteuse, cadence critique, le seuil se règle vers la précision et un dispositif de rattrapage prend en charge les fuites.

La question du rattrapage

Cette dernière remarque introduit le facteur le plus déterminant et le plus souvent négligé : existe-t-il un filet en aval ?

Un système placé en amont d’un contrôle final humain peut se permettre des fuites, puisqu’elles seront rattrapées. Un système placé en dernier avant expédition ne le peut pas. La même performance de modèle appelle donc des seuils opposés selon sa position dans la chaîne, et cette position doit figurer dans le cahier des charges avant toute discussion de performance.

Le seuil doit rester ajustable

Le rapport de coûts n’est pas constant dans le temps. Il change lors d’une campagne sur matière coûteuse, en période de tension sur les délais, après une réclamation client, ou selon le client destinataire. Le seuil doit donc être un paramètre d’exploitation accessible depuis l’interface, et non une valeur figée dans le modèle. Cela suppose que le système produise un score et non une décision binaire, choix d’architecture à faire au départ.

Pourquoi l’exactitude ne veut rien dire

Sur un flux industriel, le taux de défaut se compte en fractions de pour cent. Un système qui déclarerait toutes les pièces conformes afficherait donc une exactitude supérieure à quatre-vingt-dix-neuf pour cent tout en étant parfaitement inutile.

Cette évidence arithmétique reste régulièrement méconnue dans les argumentaires commerciaux, où l’exactitude globale est mise en avant précisément parce qu’elle est flatteuse sur un corpus déséquilibré. La règle est simple : sur une tâche de détection de défauts, un chiffre d’exactitude global ne renseigne sur rien et sa présence dans une offre est un signal d’alerte.

Les métriques utiles sont celles qui séparent les deux erreurs. Le rappel mesure la part des défauts effectivement détectés, donc le complément du taux de fuite. La précision mesure la part des signalements qui sont justes, donc l’inverse du taux de faux rejet. Ces deux grandeurs se rapportent ensemble, jamais séparément, et jamais agrégées en un indicateur unique lorsque les coûts sont asymétriques.

Les limites du score F1

Le score F1, moyenne harmonique de la précision et du rappel, est souvent employé comme indicateur unique. Il présuppose que les deux erreurs ont le même poids, ce qui est exactement l’hypothèse que ce domaine invalide. Sur une tâche où une fuite coûte cent fois un faux rejet, optimiser le F1 conduit à un réglage économiquement absurde.

Des variantes pondérées existent et permettent d’accorder plus de poids au rappel ou à la précision. Elles sont préférables au F1 simple, mais elles supposent de choisir la pondération, ce qui ramène au chiffrage des coûts. Il n’existe pas de raccourci permettant d’éviter cette question.

L’unité de comptage

Une source d’erreur discrète mérite un traitement séparé, parce qu’elle fausse les comparaisons entre offres.

Un taux de faux positifs peut être calculé par image, par objet, par pièce ou par lot, et les valeurs obtenues diffèrent d’un ordre de grandeur. Sur une carte électronique comportant des milliers de points de contrôle, un taux de faux appel très faible par point produit une probabilité élevée qu’au moins un point soit signalé à tort sur chaque carte.

La conséquence pratique est qu’un taux annoncé sans son unité de comptage n’est pas interprétable, et que deux offres affichant le même chiffre peuvent décrire des réalités très différentes. La question à poser est toujours la même : ce taux est calculé par quoi.

Le seuil de gravité, seconde décision

Une confusion fréquente en détection de défauts mérite d’être levée : la détection et la décision de conformité sont deux étapes distinctes, avec chacune son seuil.

Un système peut détecter correctement une rayure et se tromper sur son caractère rédhibitoire, ou l’inverse. Un faux rejet peut donc provenir d’une détection erronée, un objet vu là où il n’y en a pas, ou d’une gradation erronée, un défaut réel jugé plus grave qu’il ne l’est.

Cette distinction a une conséquence opérationnelle. Les deux causes appellent des corrections opposées : la première relève du modèle et du corpus, la seconde relève du seuil de gravité et donc du référentiel qualité. Un rapport d’erreurs qui ne les sépare pas ne permet aucune action corrective, et c’est pourtant la présentation la plus courante.

Mesurer honnêtement une détection de défauts

Trois précautions distinguent une mesure de performance crédible d’un chiffre décoratif.

La première est la représentativité du corpus d’évaluation. Une performance mesurée sur un jeu équilibré ne prédit pas le comportement sur un flux où les défauts sont rares. Le taux de faux rejet, en particulier, ne peut s’estimer que sur un volume de pièces conformes représentatif, ce qui suppose que le corpus d’évaluation en contienne beaucoup.

La deuxième est la ventilation par classe. Un rappel global satisfaisant peut masquer un rappel effondré sur une classe rare, et si cette classe est justement la plus critique, le système est inutilisable malgré un bon chiffre d’ensemble.

La troisième est la mesure en conditions réelles. Une performance obtenue sur un corpus constitué avec soin, images nettes et bien cadrées, surestime systématiquement ce que la ligne produira. La phase de fonctionnement en parallèle, où le système tourne à côté du contrôle existant sans décider, reste le seul moyen d’obtenir une mesure fiable.

Le contrat de performance

Traduire tout cela en engagement contractuel de détection de défauts demande de la précision, faute de quoi le contrat porte sur des chiffres invérifiables.

Quatre éléments doivent y figurer. La définition exacte des deux taux engagés, avec leur unité de comptage. Le corpus sur lequel ils seront mesurés, sa composition et son mode de constitution, idéalement figé et fourni par le client. Les conditions d’acquisition dans lesquelles l’engagement vaut, puisqu’une dérive d’éclairage suffit à le rendre caduc. Et la ventilation par classe, un engagement global sur un corpus multiclasses n’ayant pas de sens.

Un point mérite d’être négocié explicitement : la responsabilité en cas de dérive. Un système livré conforme puis dégradé par un changement de matière ou un vieillissement d’éclairage n’est pas défaillant, mais quelqu’un doit prendre en charge sa remise en conformité. Prévoir ce cas dans le contrat, plutôt que de le découvrir en exploitation, protège les deux parties et rend d’ailleurs le prestataire crédible.

La dérive du point de fonctionnement

Un système de détection de défauts correctement réglé au démarrage ne le reste pas, et cette dérive est le mode de dégradation le plus courant.

Trois causes distinctes se rencontrent. La dérive des conditions d’acquisition, éclairage vieillissant, optiques encrassées, déplacement mécanique, qui décale la distribution des scores et donc l’effet du seuil. La dérive du produit, changement de matière, de fournisseur ou de réglage, qui modifie l’apparence normale. Et la dérive de prévalence, où le taux de défaut réel évolue, ce qui change le rapport entre signalements justes et injustes sans qu’aucune erreur ne soit imputable au modèle.

Cette dernière cause est instructive et souvent mal comprise. Un système dont le taux de faux appel augmente n’est pas nécessairement dégradé : si la production s’est améliorée et que les défauts sont devenus plus rares, la proportion de signalements erronés augmente mécaniquement. Distinguer une dérive du modèle d’une dérive de prévalence suppose de suivre les deux séparément.

La surveillance minimale comporte donc trois indicateurs : le taux de signalement, la distribution des scores produits, et le taux de confirmation des signalements par vérification manuelle. Le premier bouge pour de multiples raisons, le deuxième signale une dérive d’entrée, le troisième une dérive de justesse.

Ce que l’annotation doit permettre en détection de défauts

Tout ce qui précède impose des exigences sur le corpus de détection de défauts, et elles sont fréquemment découvertes trop tard.

Le corpus d’évaluation doit contenir une proportion de pièces conformes suffisante pour estimer le taux de faux rejet avec une incertitude acceptable, ce qui représente un volume bien supérieur à l’intuition. Un corpus composé majoritairement d’exemples défectueux, ce qui arrive souvent parce qu’ils sont plus difficiles à collecter donc plus valorisés, ne permet de répondre qu’à la moitié de la question.

Il doit aussi contenir les cas conformes atypiques, ceux qui ressemblent à des défauts sans en être. Ce sont eux qui déterminent le taux de faux rejet, et leur sous-représentation produit un système dont la précision s’effondre en production sans que l’évaluation l’ait annoncé.

Enfin, la gravité doit être annotée séparément de la classe, sans quoi il devient impossible de distinguer une erreur de détection d’une erreur de gradation. Cette séparation coûte peu à l’annotation et vaut beaucoup au diagnostic.

La comparaison avec le contrôle humain

Une référence est régulièrement omise dans les projets de détection de défauts et pourtant nécessaire : les mêmes taux, appliqués au dispositif existant.

Un contrôle visuel humain produit lui aussi des fuites et des faux rejets, et ses taux sont rarement mesurés. Ils dépendent de la fatigue, de l’heure, de la cadence et de l’expérience de l’opérateur, et ils varient d’une personne à l’autre dans des proportions qui surprennent lorsqu’on les mesure.

Établir cette référence avant de déployer un système de détection de défauts a trois vertus. Elle donne un objectif réaliste plutôt qu’un objectif abstrait. Elle évite la comparaison implicite à un contrôle humain supposé parfait, qui est la source de la plupart des déceptions. Et elle révèle souvent que le dispositif existant est moins performant qu’on ne le croyait, ce qui déplace la discussion de la performance vers la constance et la traçabilité, terrain sur lequel un système automatique est structurellement supérieur.

Les erreurs les plus fréquentes

• Rapporter une exactitude globale sur un flux où les défauts sont rares.
• Employer le vocabulaire statistique et celui de l’atelier sans convention établie.
• Annoncer un taux sans préciser ce qu’il compte ni par quelle unité.
• Optimiser le score F1 alors que les coûts des deux erreurs sont asymétriques.
• Fixer le seuil côté technique sans avoir chiffré le rapport de coûts avec le client.
• Livrer une décision binaire non ajustable en exploitation.
• Ignorer la position du système dans la chaîne et l’existence d’un rattrapage aval.
• Évaluer sur un corpus équilibré et transposer au flux réel.
• Sous-représenter les cas conformes atypiques, qui déterminent le taux de faux rejet.
• Confondre dérive du modèle et dérive de prévalence dans la surveillance.

Présenter les résultats au client

La façon dont les chiffres sont restitués détermine largement la qualité de la décision qui suit.

Une présentation utile comporte trois éléments. La courbe des deux taux en fonction du seuil, qui montre l’échange plutôt qu’un point unique et permet au client de choisir en connaissance de cause. Le tableau ventilé par classe, qui révèle où la performance est acquise et où elle ne l’est pas. Et une traduction en conséquences physiques, exprimée en pièces sur un volume de production réel plutôt qu’en pourcentages, car un taux de deux pour cent parle moins qu’un nombre de pièces par équipe.

Cette dernière traduction est la plus efficace et la moins pratiquée. Un responsable de production évalue immédiatement ce que représentent quarante pièces écartées à tort par jour, alors qu’un taux abstrait ne déclenche aucune intuition. Faire ce calcul à sa place, sur ses volumes réels, transforme une présentation technique en aide à la décision.

Ce qu’il faut retenir

Un système de détection de défauts ne se règle pas sur une performance mais sur un rapport de coûts, et ce rapport appartient au client. Le rôle du prestataire est de rendre ce choix explicite et outillé, pas de le prendre à sa place en livrant un seuil.

Trois décisions structurent un projet honnête sur ce plan. Chiffrer les deux coûts avec le service qualité avant de discuter de performance, en tenant compte de la position du système dans la chaîne et de l’existence d’un rattrapage aval. Rapporter systématiquement rappel et précision séparément, ventilés par classe et accompagnés de leur unité de comptage, plutôt qu’une exactitude ou un score agrégé. Et construire un corpus d’évaluation contenant assez de pièces conformes, y compris atypiques, pour que le taux de faux rejet soit estimable, puisque c’est la moitié de la question que la plupart des corpus ne permettent pas de traiter.

Pour les approches, l’ontologie et les tâches d’annotation, le guide complet de la détection de défauts pose le cadre. Pour la traduction de ce raisonnement en chiffrage de projet, gains qualité attendus et réduction des rebuts, l’article consacré au coût et au retour sur investissement d’un projet de détection de défauts détaille la démarche économique.

Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation pour l’industrie. Et si vous préparez un projet d’inspection et souhaitez cadrer les métriques et le point de fonctionnement avant de lancer la production, échangeons sur votre projet.