Un audit de corpus publié récemment livre un résultat qui devrait changer la façon dont on conçoit un contrôle qualité. En examinant un jeu de données abdominal de référence à l’aide d’un outil fondé sur des a priori anatomiques, ses auteurs rapportent que l’aorte concentrait l’essentiel du bruit d’étiquetage avec 32,4 % d’annotations bruitées, la deuxième structure la plus touchée étant les reins avec 2,6 %, et moins de 1 % d’erreurs détectées sur les autres classes.
Une structure sur neuf porte plus de trente pour cent d’erreurs, les autres moins d’un pour cent. Les défauts d’un corpus ne se répartissent pas uniformément : ils se concentrent. Un contrôle par échantillonnage aléatoire uniforme est donc mal conçu, puisqu’il consacre l’essentiel de son effort là où il n’y a rien à trouver.
Cet article recense les erreurs les plus fréquentes en les classant non par thème mais par détectabilité, ce qui est la seule classification utile pour concevoir un dispositif de contrôle. Il prolonge le guide complet de la segmentation d’images médicales.
Trois familles d’erreurs de segmentation d’images médicales selon leur détectabilité
Toutes les erreurs ne se valent pas devant un dispositif de vérification, et les ranger par thème masque cette différence.Celles que les métriques attrapent
Ce sont les erreurs qui produisent un désaccord mesurable entre deux annotations ou entre une annotation et une référence. Une frontière imprécise, une structure oubliée sur quelques coupes, une inclusion excessive : toutes se traduisent par une baisse de recouvrement ou une distance de frontière anormale. Cette famille est la mieux traitée par les dispositifs de contrôle existants, et c’est aussi la moins grave. Une erreur détectable est une erreur corrigible, et son coût se limite au temps de correction.Celles qui demandent une inspection structurée
Une seconde famille d’erreurs de segmentation d’images médicales échappe aux métriques prises isolément et se révèle dès qu’on interroge la cohérence plutôt que l’exactitude. Une incohérence entre coupes voisines, une trajectoire de structure impossible, une somme de sous-parties qui ne reconstitue pas le tout, une latéralité inversée : ces défauts n’apparaissent qu’à travers une vérification portant sur les relations entre éléments. Ils se détectent bien, à condition d’avoir programmé les vérifications correspondantes. Un projet qui n’a pas prévu de contrôle de cohérence hiérarchique ou de plausibilité anatomique ne les verra pas, non parce qu’ils sont subtils mais parce que personne ne les cherche.Celles qu’aucune mesure ne révèle
La troisième famille d’erreurs de segmentation d’images médicales est la seule réellement dangereuse. Elle regroupe les erreurs systématiques et partagées, c’est-à-dire celles que tous les annotateurs commettent de la même façon. Une convention mal comprise appliquée uniformément produit un corpus parfaitement cohérent et parfaitement faux. Un décalage de frontière constant dans une direction, une exclusion systématique d’une sous-structure, une inversion d’axe affectant toute la chaîne : ces défauts obtiennent d’excellents scores d’accord entre annotateurs, puisque l’accord mesure la cohérence et non la justesse. Cette famille n’est détectable que par comparaison à une référence externe produite indépendamment. C’est la raison pour laquelle un contrôle fondé exclusivement sur l’accord entre pairs est structurellement aveugle, et c’est le défaut de conception le plus répandu dans les dispositifs qualité du domaine.La concentration des erreurs de segmentation d’images médicales
Le résultat cité en introduction mérite d’être exploité au delà de son chiffre. Les auteurs précisent que les erreurs détectées portaient majoritairement sur des annotations incomplètes, et que ce corpus reprenait les erreurs et les incohérences de standard d’annotation présentes dans les jeux de données publics, si bien que son bruit représente des erreurs et incohérences d’annotation courantes. Deux enseignements en découlent. Le premier est que les erreurs se concentrent sur les structures difficiles, ce qui paraît évident et n’est presque jamais traduit dans les dispositifs de contrôle. Un échantillonnage uniforme sur un corpus multi-structures dépense l’essentiel de son effort sur les structures propres. Le second est que l’agrégation de sources hétérogènes importe leurs incohérences. Un corpus constitué en réunissant plusieurs jeux publics hérite de standards d’annotation différents, et cette hétérogénéité se comporte exactement comme du bruit alors qu’elle est parfaitement systématique à l’intérieur de chaque source. La même publication indique que la correction de ces étiquettes a produit un gain substantiel sur la classe concernée, ce qui confirme que l’effort de correction ciblée est rentable là où l’effort uniforme ne l’est pas.Les erreurs de spécification
En segmentation d’images médicales, les défauts les plus coûteux naissent avant que la première annotation ne soit produite. La première est l’ontologie non écrite. Nommer une structure ne la définit pas, et l’absence de définition écrite avec exemples produit une variabilité que rien ne rattrape ensuite. C’est l’erreur la plus fréquente du domaine et la moins reconnue comme telle, puisqu’elle se manifeste sous la forme de désaccords entre annotateurs qu’on attribue à leur compétence. La deuxième est l’absence de règles d’exclusion. Un protocole qui liste ce qu’il faut inclure sans détailler ce qu’il faut écarter laisse chaque annotateur trancher devant les structures imitatrices, et ce choix ne relève pas de la perception mais de la connaissance. La troisième est la précision sur-spécifiée. Exiger une exactitude supérieure à ce que la décision clinique consomme se paie sans rien apporter, et cette erreur est d’autant plus tenace qu’elle passe pour de la rigueur. La quatrième est l’absence de classe de rejet. Un corpus réel contient des examens inexploitables, et ne pas prévoir de les écarter oblige à les annoter, ce qui injecte du bruit là où il suffisait de l’exclure.Les erreurs de production en segmentation d’images médicales
Une taxonomie utile ressort d’un travail consacré à la détection automatique des erreurs d’étiquetage. Ses auteurs distinguent notamment l’omission, qui reproduit les situations où les annotateurs oublient d’étiqueter des portions d’une image, négligent certains objets ou oublient que la classe existe dans l’ensemble des choix proposés. Cette dernière précision est instructive. Une classe rarement rencontrée finit par sortir du champ mental de l’annotateur, et son taux d’omission croît avec le temps sans qu’aucune baisse de qualité ne soit perceptible sur les classes courantes. La parade est un rappel périodique de l’ontologie complète et une mesure du taux de détection par classe rare plutôt que globale. Deux autres modes de production reviennent constamment. La dérive individuelle, où un annotateur s’écarte progressivement de la convention initiale sans s’en apercevoir, détectable uniquement par réinjection de cas déjà traités. Et la fatigue de fin de lot, qui produit une dégradation mesurable si l’on horodate le travail, et invisible autrement.Les erreurs de chaîne technique
Cette catégorie est la plus insidieuse parce qu’elle affecte uniformément le corpus et se situe donc dans la troisième famille de détectabilité. L’inversion d’axe entre référentiels vient en tête. Elle produit un masque symétrique du bon, invisible sur une structure à peu près symétrique, et cohérente avec elle-même dans toute la chaîne. Seule une superposition sur l’examen source dans un outil indépendant la révèle. La perte d’espacement inter-coupes lors d’une extraction en images vient ensuite. Elle n’affecte pas l’apparence des masques et rend impossible tout calcul volumique correct, ce qui se découvre au moment de l’exploitation plutôt que du contrôle. Le rééchantillonnage silencieux constitue un troisième cas, lorsqu’un outil normalise le volume sans ramener le masque produit au référentiel d’origine. Ces trois défauts partagent une caractéristique : ils ne sont pas des erreurs d’annotation mais des erreurs de transport, et aucun dispositif de contrôle portant sur la qualité du tracé ne les détecte. Le test d’aller-retour sur une structure asymétrique connue est la seule parade, et il doit être refait après chaque changement de version d’outil.Les erreurs de contrôle
Le dispositif de vérification comporte ses propres défaillances, et elles sont rarement examinées. La première est le contrôle par accord entre pairs sans référence externe, déjà évoqué, qui rend invisible toute erreur partagée. La deuxième est l’échantillonnage uniforme, que le résultat cité en introduction disqualifie directement. Le contrôle doit être stratifié par structure et pondéré par la difficulté mesurée au pilote. La troisième est la métrique unique. Un recouvrement seul ne détecte pas une erreur de frontière locale ; une distance seule ne détecte pas une omission. Le couple est nécessaire, et sa ventilation par structure l’est tout autant. La quatrième est le contrôle tardif. Une vérification conduite en fin de projet ne sert qu’à constater, alors que la même vérification par lot permet de corriger le protocole pendant qu’il reste des lots à produire.L’erreur la plus coûteuse
Une catégorie d’erreurs de segmentation d’images médicales mérite un traitement séparé parce que son coût dépasse celui de toutes les autres réunies : les erreurs dans le jeu d’évaluation. Une publication de référence sur les consignes d’annotation en analyse d’images biomédicales le documente sans ambiguïté. Ses auteurs rappellent que les erreurs d’annotation dans le jeu de test faussent la sélection du meilleur modèle, un réseau plus petit ayant été montré comme surpassant un réseau plus grand dès lors que la prévalence des exemples de test initialement mal étiquetés augmente de seulement six pour cent. La portée de ce résultat est considérable. Six pour cent d’erreurs dans le jeu d’évaluation suffisent à inverser le classement de deux architectures, donc à conduire une équipe à retenir le mauvais modèle en croyant s’appuyer sur une mesure. Trois conséquences pratiques s’imposent. Le jeu d’évaluation doit être annoté selon un régime plus exigeant que le jeu d’entraînement, avec annotation multiple et arbitrage systématique, même lorsque ce régime n’est pas retenu ailleurs. Il doit être annoté hors de toute boucle d’assistance, sous peine de mesurer la cohérence du système avec lui-même. Et il doit être audité avant usage plutôt qu’après, puisque toute conclusion tirée d’un jeu de test défectueux est irrécupérable.Les erreurs induites par l’assistance
Une catégorie récente d’erreurs de segmentation d’images médicales s’ajoute aux précédentes et se développe à mesure que les modèles progressent. Un travail récent sur la qualité d’annotation dans les systèmes de perception la nomme explicitement, en relevant que des outils d’automatisation ont validé mécaniquement des étiquettes parce que les annotateurs faisaient excessivement confiance aux sorties de l’outil, ce qui figure parmi les erreurs induites par un biais. Ce mode de défaillance appartient à la troisième famille de détectabilité et il est en train de devenir le plus important du domaine. Il ne produit pas d’incohérence, il produit une convergence, et tous les indicateurs d’accord s’améliorent pendant que la justesse se dégrade. Sa contre-mesure est connue et rarement appliquée : maintenir une fraction du corpus annotée sans assistance et comparer les deux populations, non pas sur leur accord mais sur la distribution des tailles de structures et la position des frontières. Un décalage systématique entre les deux populations est le signal recherché.Une méthode d’audit d’un corpus de segmentation d’images médicales
Auditer un corpus existant demande une méthode différente de celle du contrôle en cours de production, et elle tient en cinq étapes. La première consiste à vérifier la chaîne géométrique sur quelques cas, en superposant des masques à leurs examens sources dans un outil externe. Cette étape prend une heure et elle détermine si le reste de l’audit a un sens. La deuxième consiste à calculer les indicateurs de cohérence structurelle disponibles selon le domaine, inclusion, partition, symétrie, connexité, plausibilité volumique. Ils désignent les examens à examiner en priorité. La troisième consiste à trier les cas par accord ou par plausibilité et à examiner les pires. Les cas extrêmes concentrent l’information et révèlent fréquemment un défaut de protocole plutôt qu’une erreur individuelle. La quatrième consiste à comparer un échantillon à une référence produite indépendamment, seule étape capable de détecter un biais partagé. La cinquième consiste à ventiler tous les résultats par structure, par annotateur et par période, ce qui distingue une difficulté intrinsèque d’une dérive et une dérive individuelle d’un changement de protocole.Les erreurs de composition
Une famille d’erreurs échappe entièrement aux classifications précédentes parce qu’elle ne porte sur aucune annotation prise isolément : les défauts du corpus en tant qu’ensemble. Le premier est la séparation des jeux au mauvais niveau. En imagerie médicale, répartir les coupes d’un même volume entre entraînement et évaluation revient à placer le même exemple des deux côtés, puisque deux coupes voisines sont presque identiques. La séparation doit se faire au niveau du patient, et idéalement de la session d’acquisition, puisque des examens d’une même session partagent leur appareil et leurs réglages. Le deuxième est le déséquilibre de représentation. Un corpus constitué de cas faciles produit un modèle qui échoue précisément là où l’aide serait utile, et cette défaillance ne se voit pas dans les métriques puisque le jeu d’évaluation partage le même biais de constitution. Le troisième est la fuite de métadonnées. Un corpus dont les cas pathologiques proviennent d’un site et les cas normaux d’un autre permet à un modèle d’apprendre la signature de l’appareil plutôt que la pathologie. Ce défaut produit d’excellents résultats en évaluation interne et un échec complet en déploiement. Ces trois erreurs de segmentation d’images médicales ont en commun d’être invisibles à tout contrôle portant sur les annotations, et de se prévenir uniquement au moment de la sélection des examens.Corriger ou reprendre
Un audit conclut rarement à l’absence de défauts, et la question devient celle du traitement. Trois réponses existent selon la nature de l’erreur constatée. Une erreur aléatoire et dispersée se corrige par reprise ciblée des cas identifiés, et son coût reste proportionnel au nombre de cas. Une erreur systématique portant sur une structure se corrige souvent par traitement automatique, la règle appliquée étant connue et donc inversible. Et une erreur de convention se corrige par réannotation, puisque l’information nécessaire n’a jamais été produite. Ce troisième cas est le plus coûteux et le seul qui justifie de reprendre plutôt que de corriger. Il illustre pourquoi la détection précoce a une valeur si élevée : la même erreur détectée au pilote coûte une réécriture de protocole, détectée après livraison elle coûte un corpus. Une quatrième option mérite d’être connue : documenter plutôt que corriger. Sur un défaut irréductible, tenant à la qualité d’image ou à l’ambiguïté de l’objet, le signaler explicitement dans la documentation du corpus vaut mieux que le masquer. Un utilisateur averti pondère ; un utilisateur ignorant conclut faux.Ce qui rend une erreur durable
Un dernier angle éclaire l’ensemble des erreurs de segmentation d’images médicales : pourquoi certaines erreurs survivent à tous les contrôles alors que d’autres sont corrigées en une journée. Trois conditions concourent à la persistance. La première est l’uniformité : une erreur commise par tout le monde de la même façon ne produit aucun désaccord, donc aucun signal. La deuxième est la plausibilité : un résultat qui a l’air correct ne déclenche pas d’examen, ce qui explique que les erreurs induites par l’assistance soient si durables. La troisième est l’absence de conséquence immédiate : une erreur qui ne se manifeste qu’en déploiement clinique a le temps de contaminer un corpus entier. Ces trois conditions sont exactement celles que réunissent les erreurs de convention et les erreurs de chaîne technique, ce qui explique qu’elles dominent le coût réel des défauts d’un corpus alors qu’elles sont rares en nombre. La conséquence pour la conception d’un dispositif est de renverser la logique habituelle. Plutôt que de chercher davantage d’erreurs, il vaut mieux chercher les erreurs qui échapperaient au dispositif existant, ce qui se fait en une question : quel défaut mon contrôle serait-il incapable de voir. La réponse désigne presque toujours la nécessité d’une référence externe et d’une superposition indépendante, deux mesures peu coûteuses et rarement en place.Les erreurs les plus fréquentes
- Contrôler par accord entre pairs sans référence externe indépendante.
- Échantillonner uniformément alors que les erreurs se concentrent sur quelques structures.
- Rapporter une métrique unique et globale plutôt qu’un couple ventilé.
- Traiter le jeu d’évaluation avec le même régime que le jeu d’entraînement.
- Annoter le jeu d’évaluation à l’intérieur d’une boucle d’assistance.
- Ne pas tester la chaîne géométrique avant la production.
- Agréger des sources publiques hétérogènes sans harmoniser les standards.
- Négliger le taux d’omission sur les classes rares.
- Interpréter une amélioration de l’accord en régime assisté comme un gain de qualité.
- Reporter le contrôle en fin de projet plutôt que de le conduire par lot.
