Un câble, une tige ou un objet lointain occupent quelques pixels dont aucun ne leur appartient entièrement. Cette propriété physique, et non un manque de soin, explique pourquoi ces catégories concentrent les désaccords et échappent aux mesures habituelles.
Cet article expose ces difficultés. Il prolonge l’article consacré aux
erreurs de segmentation les plus fréquentes.
Deux problèmes distincts
Deux catégories se confondent souvent en segmentation d’images.
Elles appellent pourtant des traitements différents.
Le petit objet, compact mais de faible surface, un panneau lointain ou un insecte.
Et la structure fine, allongée et d’épaisseur proche de la résolution, un câble ou une tige.
Une conséquence pratique importante en découle. Le premier relève d’un problème d’échelle et le second d’un problème de représentation, une structure fine restant impossible à délimiter proprement même à taille apparente importante.
Ce que la résolution impose
Quatre effets découlent d’une taille proche de celle du pixel en segmentation d’images.
Aucun pixel n’appartient entièrement à l’objet, chacun mêlant l’objet et son fond.
Le contour n’existe pas comme frontière nette mais comme zone de mélange.
Un écart d’un seul pixel modifie considérablement la surface relative.
Et deux annotateurs également raisonnables produisent des résultats sensiblement différents.
Une observation importante en découle. Ces quatre effets font que la variabilité sur ces catégories relève de la donnée plutôt que de l’exécution, ce qui interdit de la traiter par une exigence de précision accrue.
Pourquoi les métriques les ignorent
Trois mécanismes effacent ces catégories des mesures de segmentation d’images.
Une moyenne pondérée par la surface leur accorde un poids négligeable.
Un écart de contour identique pèse davantage sur une petite région, ce qui produit des valeurs basses interprétées comme un échec.
Et un échantillon de contrôle uniforme ne les rencontre que très rarement.
Une conséquence pratique s’ensuit pour un projet de segmentation d’images. Ces trois mécanismes justifient de rapporter ces catégories séparément, une moyenne globale ne disant rien de leur traitement et une valeur basse ne signifiant pas nécessairement un défaut.
Pourquoi l’assistance échoue
Quatre raisons expliquent cet échec en segmentation d’images.
Aucun contraste franc ne délimite un objet dont les pixels sont mélangés.
Les modèles lissent les détails qu’ils ne distinguent pas.
Une structure ajourée voit ses vides remplis.
Et une désignation par point ou par boîte suppose un objet suffisamment étendu pour être visé.
Une observation importante en découle. Ces quatre raisons font que le gain d’assistance est nul ou négatif sur ces catégories, ce qui impose de les basculer en tracé manuel plutôt que de les laisser dans une chaîne assistée.
Pourquoi l’outil ne suit pas
Trois limites d’outillage se manifestent sur ces catégories en segmentation d’images.
La largeur minimale du pinceau dépasse fréquemment l’épaisseur de l’objet.
Le polygone devient impraticable, le contour comptant autant de sommets que de pixels.
Et le zoom nécessaire fait perdre le contexte visuel qui permet d’identifier l’objet.
Une conséquence pratique s’ensuit. La première limite produit un défaut systématique, une structure fine tracée au pinceau apparaissant plus épaisse qu’elle ne l’est, ce qui fausse toute mesure de surface sur ces classes.
Les conventions à écrire
Cinq décisions traitent ces catégories en segmentation d’images.
Le seuil de taille en dessous duquel l’objet n’est pas délimité individuellement.
Le sort des structures fines, incluses dans une classe, exclues ou regroupées.
La règle de placement du contour dans la zone de mélange.
Le traitement des structures ajourées, vides inclus ou exclus.
Et la conduite à tenir face à un objet identifiable mais non délimitable proprement.
Une observation en découle. La dernière décision est la plus utile et la plus rare, elle permet de signaler la présence d’un objet sans prétendre à une délimitation que la donnée ne porte pas.
Les stratégies de traitement
Quatre approches se rencontrent en segmentation d’images.
Elles ne s’excluent pas entre elles.
Le seuil d’exclusion, qui écarte les objets sous une taille donnée.
La classe générique, qui regroupe les petits objets sans les distinguer.
Le marquage par point plutôt que par région, qui signale sans délimiter.
Et le tracé complet malgré la difficulté, réservé aux seules classes dont l’usage l’exige.
Une conséquence pratique importante en découle pour un projet de segmentation d’images. La troisième approche est la plus sous-employée, elle conserve l’information de présence, qui suffit à de nombreux usages, sans payer le coût d’une délimitation arbitraire.
Ce que le seuil doit exprimer
Trois façons d’exprimer un seuil coexistent en segmentation d’images.
Leur robustesse diffère fortement.
Le seuil en pixels, qui change de sens dès que la résolution varie.
Le seuil en unités du monde, qui reste valide sur un corpus hétérogène.
Et le seuil exprimé en proportion de l’image, intermédiaire et rarement pertinent.
Une observation en découle. Le deuxième mode est le seul défendable sur un corpus mêlant des résolutions ou des distances, ce qui recouvre la plupart des projets réels de segmentation d’images.
Le marquage par point
Une solution mérite un traitement séparé car elle résout un problème que le tracé ne résout pas.
Un point posé sur l’objet remplace la région lorsque la délimitation n’a pas de sens.
Quatre bénéfices en découlent en segmentation d’images.
L’information de présence est conservée, ce qui suffit à la détection et au comptage.
Le temps par objet devient négligeable comparé à un tracé.
La variabilité entre annotateurs chute fortement, un point se posant sans hésitation.
Et le contrôle se simplifie nettement, la comparaison portant sur des effectifs plutôt que sur des contours.
Une conséquence pratique importante en découle. Ce mode suppose que le format et le traitement aval l’acceptent, condition qui se vérifie au cadrage et qui écarte cette solution lorsqu’elle est envisagée trop tard.
Ce que le contrôle doit chercher
Cinq vérifications portent spécifiquement sur ces catégories.
Le comptage des occurrences par classe, qui révèle une classe omise sur tout un lot.
La comparaison des effectifs entre annotateurs sur les classes concernées.
La distribution des épaisseurs sur les structures fines, un décalage signalant un pinceau trop large.
La présence de régions juste au dessus du seuil, qui vérifie que le seuil est appliqué.
Et la revue humaine ciblée sur ces classes précises plutôt que sur un échantillon uniforme.
Une conséquence pratique s’ensuit. La deuxième vérification est la plus révélatrice, un écart d’effectif entre annotateurs signalant une omission systématique là que la comparaison de contours ne montrerait qu’un désaccord de tracé.
Ce que ces catégories coûtent
Quatre facteurs déterminent leur charge en segmentation d’images.
Le temps par objet, élevé rapporté à la surface obtenue.
Le nombre d’occurrences, souvent important sur les corpus urbains ou naturels.
L’absence de gain d’assistance, qui laisse ces classes entièrement manuelles.
Et le temps de contrôle, la revue ciblée s’ajoutant intégralement à l’échantillonnage habituel.
Une observation importante en découle. Ces quatre facteurs font que ces catégories consomment une part de budget sans rapport avec leur part de surface, ce qui justifie de décider leur sort au cadrage plutôt que de le découvrir en production.
Aborder ces catégories
Cinq questions cadrent ces catégories en segmentation d’images.
Ces catégories figurent-elles au référentiel. Leur présence appelle des conventions dédiées.
L’usage aval exploite-t-il leur forme ou leur seule présence. Cette réponse ouvre le marquage par point.
Le seuil est-il exprimé en unités du monde. Sinon il varie avec la résolution.
Ces classes sont-elles exclues de la chaîne assistée. Leur maintien y produit des omissions.
Et le contrôle les cible-t-il spécifiquement. Un échantillon uniforme ne les rencontre presque jamais.
Ces cinq réponses déterminent leur traitement et leur coût. Les poser avant de commencer évite un corpus dont les classes les plus difficiles ont été traitées par défaut.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.
Ces catégories relèvent d’une limite de la donnée plutôt que d’une difficulté d’exécution.
Trois constats la composent.
Aucun pixel n’appartient entièrement à l’objet, ce qui rend la variabilité irréductible par une exigence accrue.
Les métriques usuelles les effacent, ce qui impose de les rapporter séparément.
Et le marquage par point conserve l’information de présence sans payer une délimitation arbitraire.
Ce constat prolonge les chapitres précédents, la convention traitant ce que la précision ne peut pas atteindre.
Les erreurs les plus fréquentes
- Traiter petits objets et structures fines comme un même problème.
- Exprimer le seuil de taille en pixels sur un corpus multi-résolution.
- Attendre de l’assistance qu’elle traite ces catégories.
- Tracer une structure fine avec un pinceau plus large qu’elle.
- Rapporter ces classes dans une moyenne globale.
- Interpréter une valeur basse comme un défaut d’exécution.
- Échantillonner uniformément pour contrôler ces classes.
- Omettre la convention sur les vides des structures ajourées.
- Exiger une délimitation là où un marquage suffirait.
- Découvrir le coût de ces classes en production.
Ce que le seuil doit préserver
Une précaution accompagne tout seuil d’exclusion en segmentation d’images.
Trois informations doivent survivre à la décision d’écarter.
La valeur du seuil elle-même, sans laquelle personne ne sait ce qui manque.
La distinction entre une zone écartée par seuil et une zone non annotée.
Et le comptage de ce qui a été écarté, qui borne l’exhaustivité réelle du corpus.
Une observation importante en découle. La troisième information est la plus rare et la plus utile, un système évalué sur un corpus qui écarte silencieusement les petits objets paraissant meilleur qu’il ne l’est sur les scènes qui en contiennent.
Les structures ajourées
Une sous-catégorie mérite d’être isolée car elle pose une question de définition.
Un grillage, un feuillage ou une grille occupent une surface dont une part est du vide.
Trois conventions coexistent pour un projet de segmentation d’images.
L’enveloppe, qui inclut les vides et décrit l’objet comme une zone pleine.
Le tracé fidèle, qui exclut les vides au prix d’un travail considérable.
Et la classe dédiée, qui déclare la zone comme ajourée sans trancher pixel par pixel.
Une conséquence pratique importante en découle. Ces trois conventions produisent des surfaces radicalement différentes sur les mêmes objets, ce qui les rend déterminantes pour tout usage de mesure et impose de les écrire plutôt que de les laisser au tracé.
Ce que l’usage aval demande réellement
Quatre besoins se rencontrent en segmentation d’images, et ils n’appellent pas le même traitement.
Le comptage, qui se satisfait d’un marquage par point.
La localisation, qui se satisfait d’une boîte grossière.
La mesure de longueur, qui exige un tracé mais tolère une épaisseur conventionnelle.
Et la mesure de surface, seul besoin qui exige une délimitation fidèle.
Une observation en découle pour un projet de segmentation d’images. Le troisième besoin est fréquent sur les structures fines, câbles ou tiges, et il autorise une simplification importante, une épaisseur fixée par convention supprimant la difficulté sans altérer la grandeur recherchée.
Le lot pilote sur ces catégories
Quatre images éprouvent le traitement de ces classes en segmentation d’images.
Une image contenant de nombreux petits objets, qui mesure la cadence réelle et le nombre d’occurrences.
Une image contenant une structure fine isolée, qui vérifie le réglage du pinceau et la convention d’épaisseur.
Une image contenant une structure ajourée, qui teste la convention retenue sur les vides.
Et une image mêlant des objets de part et d’autre du seuil, qui vérifie que le seuil est applicable en pratique.
Une observation en découle. La quatrième image révèle fréquemment qu’un seuil défendable sur le papier devient inapplicable à l’écran, un annotateur ne pouvant estimer une taille en unités du monde sans repère visuel, ce qui impose de lui fournir une aide de mesure dans l’outil.
Ce que le corpus doit déclarer
Cinq informations accompagnent une livraison de segmentation d’images comportant ces catégories.
Le seuil de taille appliqué, avec son unité d’expression.
La convention retenue sur les structures ajourées.
L’épaisseur conventionnelle appliquée aux structures fines, lorsqu’elle existe.
Le mode de représentation employé, région ou point, classe par classe.
Et le comptage précis des objets écartés par application du seuil.
Une conséquence pratique s’ensuit pour un projet de segmentation d’images. La quatrième information est indispensable à l’exploitation, un corpus mêlant régions et points sans le déclarer produisant des erreurs de lecture chez qui l’utilise sans le savoir.
Ce que ces catégories révèlent au commanditaire
Quatre observations rendent cette conversation productive en segmentation d’images.
La variabilité sur ces classes ne se réduit pas par une exigence accrue, elle tient à la donnée.
Une valeur de recouvrement basse sur ces classes ne signale pas nécessairement un défaut.
L’assistance n’apporte rien ici, ce qui borne toute promesse d’économie.
Et plusieurs modes de représentation existent, dont certains suffisent à l’usage sans en payer le coût.
Une observation en découle pour un prestataire de segmentation d’images. La deuxième observation évite un litige récurrent, un client comparant les valeurs par classe interprétant spontanément un chiffre bas comme un travail insuffisant alors qu’il mesure une limite physique de l’image.
La question qui tranche le traitement
Une question détermine le mode de représentation à retenir.
L’usage aval a-t-il besoin de la forme de ces objets ou seulement de leur présence.
Une réponse orientée présence ouvre le marquage par point, qui divise le coût et supprime l’essentiel de la variabilité.
Une réponse orientée forme impose le tracé et son coût, mais elle appelle alors une convention explicite sur l’épaisseur et sur les vides.
Cette question se pose en une phrase, elle relève du traitement aval et non de l’annotation, et elle produit l’écart de coût le plus important de tout ce chapitre.
Trois décisions avant de commencer
Trois décisions traitent ces catégories en segmentation d’images.
Fixer le seuil de taille en unités du monde et fournir un repère de mesure dans l’outil.
Choisir le mode de représentation classe par classe, région ou point, selon ce que l’usage exploite.
Et écrire la convention sur les vides et sur l’épaisseur, puisque ces deux règles déterminent les surfaces livrées.
Ces trois décisions coûtent une réunion, elles précèdent la première image, et leur absence produit un corpus dont les classes les plus coûteuses ont été traitées par défaut.
Ce que ces catégories apportent au reste du corpus
Trois pratiques nées ici valent au delà de ces classes.
Le rapport séparé par tranche de taille, applicable dès qu’un corpus mêle des régions d’ampleur inégale.
Le mode de représentation choisi selon l’usage plutôt que par défaut, transposable à toute classe dont la forme n’est pas exploitée.
Et la distinction entre variabilité de la donnée et variabilité de l’exécution, nécessaire partout où une frontière n’existe pas franchement.
Une observation en découle pour un projet de segmentation d’images. Ces trois pratiques répondent à une même situation, celle où l’exigence usuelle demande davantage que ce que l’image contient, configuration que ces catégories rendent évidente et que d’autres classes présentent à un degré moindre.
Ce que la formation doit couvrir
Cinq compétences distinguent un annotateur formé à ces catégories en segmentation d’images.
Reconnaître qu’un objet relève du seuil d’exclusion plutôt que le tracer approximativement.
Basculer en tracé manuel dès qu’une classe de ce type apparaît dans une chaîne assistée.
Régler la largeur de pinceau à l’épaisseur réelle plutôt qu’à la valeur par défaut.
Appliquer la convention sur les vides sans la réinterpréter au cas par cas.
Et signaler un objet identifiable mais non délimitable plutôt que produire un contour inventé.
Une conséquence pratique s’ensuit. La dernière compétence est la plus difficile à installer, un annotateur consciencieux préférant spontanément livrer un contour approximatif plutôt qu’un signalement, alors que le second porte une information juste et le premier une information fausse.
Ce que ce chapitre laisse au suivant
Les décisions exposées ici relèvent d’un cadre plus large.
Trois d’entre elles concernent la conception du corpus plutôt que le geste d’annotation.
Le seuil de taille, qui borne ce que le corpus contient.
Le mode de représentation, qui détermine ce que le corpus permet d’apprendre.
Et la couverture de ces classes, qui décide si le système saura les traiter.
Ces trois décisions appartiennent à la conception d’un dataset de segmentation d’images, et elles constituent l’objet du chapitre suivant.
Ce que ces classes coûtent à ignorer
Quatre conséquences suivent une décision de les traiter par défaut.
La variabilité entre annotateurs s’installe sans que personne l’ait décidée.
Le budget se creuse sur des classes dont la part de surface est négligeable.
Le corpus livré mêle des objets tracés et d’autres omis selon l’annotateur.
Et le système entraîné hérite d’une frontière de détection qui reflète la fatigue plutôt qu’une règle.
Une observation importante en découle pour un projet de segmentation d’images. La dernière conséquence est la plus dommageable, un seuil de détection appris à partir d’omissions irrégulières produisant un comportement que rien dans le référentiel n’explique.
Trois contrôles adaptés à ces classes
Trois vérifications suffisent à encadrer ces catégories en segmentation d’images.
Le comptage des occurrences par classe et par lot, qui révèle une omission systématique.
La comparaison des effectifs entre annotateurs sur ces classes précises.
Et la distribution des épaisseurs sur les structures fines, qui détecte un pinceau mal réglé.
Ces trois contrôles s’exécutent sur un export livré, ils ne demandent aucune référence externe, et ils portent sur des effectifs et des distributions plutôt que sur des contours, ce qui les rend applicables là où la comparaison géométrique n’a pas de sens.
Ce qu’il faut retenir
Les petits objets et les structures fines posent un problème de donnée plutôt que d’exécution.
Trois lectures se dégagent. Aucun pixel n’appartient entièrement à l’objet, ce qui rend la variabilité irréductible et interdit de la traiter par une exigence de précision accrue. Les métriques de recouvrement les effacent, une moyenne pondérée par la surface leur accordant un poids négligeable et une valeur basse ne signifiant pas un défaut. Et le marquage par point plutôt que par région conserve l’information de présence, qui suffit à de nombreux usages, sans payer le coût d’une délimitation que la donnée ne porte pas.
Pour la conception d’un corpus qui les intègre, l’article consacré au
dataset de segmentation détaille la méthode. Pour le cadre général, le
guide de la segmentation d’images pose le panorama.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si votre corpus comporte des classes de ce type,
échangeons sur votre projet.
