L’article d’ouverture de cette série sur la segmentation d’images satellites annonçait que l’essentiel des désaccords entre annotateurs et de l’erreur des modèles se concentre sur les pixels de bordure. Les articles consacrés aux différentes classes l’ont confirmé sous des formes variées.
Celui-ci traite la question directement : pourquoi les frontières concentrent la difficulté, pourquoi les métriques usuelles la masquent, et comment un projet peut la traiter. Il prolonge l’article consacré à la segmentation hyperspectrale.
Pourquoi la frontière concentre la difficulté
Quatre mécanismes se combinent aux limites d’un objet. Ils expliquent la totalité du phénomène. Le pixel mixte vient en premier de ces mécanismes. Un pixel situé à cheval sur deux classes enregistre un mélange de leurs signatures, ce qui rend son attribution à l’une ou à l’autre arbitraire par nature. La transition physique vient ensuite. De nombreuses limites réelles ne sont pas nettes, une lisière ou un rivage présentant une zone de gradation où aucune position ne s’impose. La convention intervient en troisième. Même sur une limite nette, la question de savoir si la limite passe au bord, au milieu ou au delà d’un élément relève d’une décision que l’observation ne tranche pas. Et l’imprécision de géoréférence intervient en quatrième. Un décalage d’une fraction de pixel entre l’imagerie et une référence produit un désaccord systématique sur toutes les bordures sans qu’aucune erreur d’interprétation ait été commise. Ces quatre mécanismes ont une propriété commune déterminante. Aucun ne se corrige par un meilleur modèle, les trois premiers relevant de la donnée et de la convention, le quatrième d’un problème géométrique en amont.Pourquoi les métriques usuelles le masquent
Une propriété arithmétique le rend invisible dans une évaluation ordinaire. Une région compacte comporte beaucoup plus de pixels intérieurs que de pixels de bordure, et ce rapport croît avec la taille de l’objet. Une parcelle de cent mètres de côté à dix mètres de résolution comporte cent pixels dont trente-six sur le pourtour ; la même parcelle à un mètre de résolution en comporte dix mille dont trois cent quatre-vingt-seize. Une conséquence directe en découle. Plus la résolution est fine, plus la proportion de pixels de bordure diminue, et plus une métrique globale devient insensible à la qualité des limites. Trois effets s’ensuivent directement pour un projet de segmentation d’images satellites. Une performance globale élevée est compatible avec des contours médiocres. Une amélioration de la qualité des bordures se traduit par un gain marginal sur la métrique, ce qui décourage l’effort. Et deux modèles de score identique peuvent produire des contours de qualité très différente. Ce troisième effet est le plus problématique commercialement. Un client comparant deux offres sur un score unique ne voit pas la différence qui déterminera son usage.Les métriques sensibles aux frontières
Quatre mesures évaluent ce que les métriques globales ignorent. Il vaut la peine de les distinguer. Le score de bordure restreint le calcul à une bande étroite de part et d’autre du contour de référence, ce qui exclut les pixels intérieurs et rend la mesure directement sensible à ce qui compte. La distance de contour mesure l’écart géométrique moyen entre le contour prédit et celui de référence, exprimé en unités de terrain plutôt qu’en proportion de pixels, ce qui la rend interprétable par un client. La distance maximale, ou une version tronquée écartant les valeurs extrêmes, mesure le pire écart plutôt que l’écart moyen, information utile lorsqu’une erreur ponctuelle importe. Et la tolérance paramétrée évalue la proportion de contour prédit situé à moins d’une distance donnée de la référence, ce qui permet d’exprimer une exigence en termes opérationnels. Une recommandation en découle. Rapporter une métrique globale et une métrique de bordure donne une image que ni l’une ni l’autre ne fournit seule, et cette double mesure coûte un calcul supplémentaire.La borne imposée par la référence
Cette limite théorique borne tout ce qui précède. Deux annotateurs compétents ne tracent pas exactement la même limite. Leur désaccord constitue une mesure du bruit de la référence, et aucun modèle ne peut faire mieux que ce bruit. Trois conséquences en découlent pour un projet annoté. Une exigence de précision inférieure au désaccord inter-annotateurs est irréalisable, quelle que soit la méthode. Un modèle atteignant ce niveau ne peut plus être amélioré sans améliorer d’abord la référence. Et un écart mesuré entre prédiction et référence inférieur à ce bruit n’a pas de signification. Une conséquence méthodologique importante s’ensuit. Mesurer le désaccord inter-annotateurs sur les bordures, séparément du désaccord global, fournit la borne pertinente et cette mesure est rarement faite. Cette mesure a une valeur commerciale directe. Elle permet de répondre à une exigence de précision irréaliste par un fait plutôt que par une négociation, ce qui déplace la conversation sur un terrain vérifiable.Le rôle de la géoréférence
Cette source d’erreur est fréquemment confondue avec une erreur de segmentation d’images satellites. Un décalage entre l’imagerie annotée et l’imagerie de production produit un écart de contour systématique, identique sur tous les objets et dans la même direction. Trois signes le distinguent nettement d’une erreur de modèle. L’écart est constant en direction et en amplitude sur une zone entière. Il n’est pas corrélé au type d’objet ni à la difficulté du cas. Et il disparaît si l’on recale les deux sources avant comparaison. Une conséquence pratique en découle. Vérifier l’alignement avant tout diagnostic de qualité évite d’attribuer à un modèle une erreur qui relève d’un problème géométrique, situation que l’article consacré au bâti a signalée comme dominante en détection de changement. Cette vérification prend quelques minutes et elle est régulièrement omise, ce qui conduit des équipes à tenter d’améliorer un modèle qui fonctionne correctement.Les conventions qui déterminent la qualité
Une part importante de la variabilité aux frontières relève de décisions non prises plutôt que d’erreurs commises. Cinq questions doivent être tranchées explicitement et documentées avec des illustrations. La position de la limite sur une transition graduelle, qui appelle un critère quantifié plutôt qu’un jugement. Le traitement du pixel mixte, attribué à la classe dominante, à une classe de transition ou selon un seuil de proportion. Le traitement des éléments de bordure, haie, talus, accotement ou débord de toiture, dont l’inclusion relève d’une convention. Le degré de lissage attendu, un contour suivant chaque irrégularité et un contour régularisé n’exprimant pas la même chose. Et le traitement des zones ombrées adjacentes, où la limite réelle est invisible et doit être interpolée ou signalée. Une observation traverse ces cinq questions. Chacune se tranche en quelques minutes avec un expert et produit, si elle est omise, une variabilité que rien ne permet ensuite de distinguer d’une erreur réelle.Ce que le modèle peut apporter
Plusieurs techniques améliorent réellement la qualité des contours et il vaut la peine de les situer. Les fonctions de coût pondérées accordent un poids supérieur aux pixels de bordure, ce qui compense leur faible proportion et oriente l’apprentissage vers eux. Les termes de contour ajoutent à l’apprentissage une mesure d’écart géométrique, ce qui pénalise explicitement un contour mal placé indépendamment de son coût en pixels. Les architectures préservant la résolution évitent la perte d’information fine que la compression provoque, difficulté que l’article consacré aux modèles détaille. Et le raffinement en deux temps produit d’abord une segmentation grossière puis affine les contours, ce qui concentre le calcul là où il est utile. Une réserve importante accompagne ces quatre techniques. Toutes supposent une référence dont les contours sont fiables, faute de quoi elles apprennent à reproduire fidèlement le bruit de l’annotation, ce qui aggrave la situation plutôt que de l’améliorer.Ce que le post-traitement peut apporter
Trois opérations améliorent un contour après la prédiction et leurs effets diffèrent. Le lissage supprime les irrégularités de niveau pixel, ce qui améliore l’apparence et peut dégrader la précision si le contour réel est effectivement irrégulier. La régularisation géométrique impose une forme attendue, angles droits pour le bâti notamment, ce que l’article correspondant a détaillé avec ses réserves. Et l’alignement sur une référence existante contraint le contour prédit à coïncider avec une limite connue, parcellaire ou réseau, lorsqu’une telle référence existe. Une conséquence pour l’évaluation mérite d’être posée. Ces trois opérations modifient les métriques, parfois à la baisse alors que le produit est meilleur pour l’usage, ce qui impose de mesurer avant et après et de documenter le paramétrage.L’effet de la résolution sur la précision atteignable
Cette relation est souvent mal comprise. Elle détermine ce qu’un projet de segmentation d’images satellites peut promettre. La précision d’un contour ne peut pas descendre en dessous de la taille du pixel, et en pratique elle s’en approche difficilement. Trois facteurs l’expliquent. Le pixel constitue l’unité indivisible de la mesure, ce qui borne mécaniquement la précision. Le pixel mixte étale la transition sur au moins un pixel de part et d’autre. Et le rééchantillonnage éventuel, lors d’une correction géométrique, introduit un flou supplémentaire. Une règle pratique en découle pour un projet de segmentation d’images satellites. Une précision de contour de l’ordre d’un à deux pixels constitue un résultat correct, et une exigence inférieure suppose soit une résolution plus fine, soit une source complémentaire. Cette règle a une conséquence commerciale directe. Elle permet de traduire une exigence de terrain en exigence de résolution, et donc en budget d’acquisition, ce qui déplace une discussion de qualité vers une discussion de moyens.Comment exprimer une exigence de précision
Une formulation opérationnelle vaut mieux qu’une exigence de score et elle se construit en trois temps. Établir d’abord ce que l’imprécision coûte au client. Un écart d’un mètre sur une limite parcellaire peut représenter une surface facturable ; le même écart sur une lisière forestière peut n’avoir aucune conséquence. Traduire ensuite ce coût en tolérance exprimée en unités de terrain, formulation qu’un client comprend et qu’un fournisseur peut vérifier. Et vérifier enfin que cette tolérance dépasse le désaccord inter-annotateurs mesuré, faute de quoi l’exigence est irréalisable et doit être renégociée avant plutôt qu’après. Cette démarche remplace utilement une exigence de score dont personne ne sait ce qu’elle implique concrètement. Elle produit un critère vérifiable et elle protège les deux parties.Le contrôle qualité ciblé sur les frontières
Cette méthode diffère d’un échantillonnage ordinaire. Un contrôle par échantillonnage aléatoire de zones est dominé par les cas faciles, l’intérieur des objets constituant l’essentiel de la surface. Un contrôle ciblé examine préférentiellement les zones de bordure et, parmi elles, les configurations identifiées comme difficiles : transitions graduelles, adjacences entre classes voisines, zones ombrées et objets de petite taille. Trois bénéfices mesurables en découlent. Le taux de détection d’erreurs est nettement supérieur à effort constant. Les erreurs trouvées sont celles qui affectent l’usage. Et les désaccords révèlent les insuffisances de convention plutôt que les défaillances individuelles. Une réserve accompagne cette méthode. Un contrôle exclusivement ciblé ne renseigne pas sur la qualité globale, ce qui plaide pour une combinaison, un échantillon aléatoire léger et un échantillon ciblé plus dense.Ce que cela signifie commercialement
Trois conséquences commerciales se dégagent pour un prestataire de segmentation d’images satellites. La première est que la qualité des contours constitue un différenciateur invisible dans un score global. Un prestataire produisant des contours nettement meilleurs qu’un concurrent ne peut pas le démontrer par la métrique usuelle, ce qui plaide pour proposer une mesure de bordure dans toute comparaison. La deuxième est que la mesure du désaccord inter-annotateurs sur les frontières constitue un livrable en soi. Elle établit ce qui est atteignable, elle protège d’une exigence irréaliste et elle démontre une maîtrise méthodologique que peu de fournisseurs affichent. Et la troisième est que les conventions documentées valent davantage que la performance affichée. Un corpus dont les règles de frontière sont écrites et illustrées se réemploie, s’étend et se défend, quand un corpus produit sans elles ne permet aucune de ces trois choses.L’annotation des frontières en pratique
Quatre pratiques améliorent la qualité des contours en segmentation d’images satellites. Elles coûtent peu et se mettent en place immédiatement. Le zoom systématique aux limites, un annotateur travaillant à l’échelle de la vue d’ensemble produisant des contours nettement moins précis que le même annotateur travaillant au zoom maximal sur les bordures. L’affichage de plusieurs compositions colorées, une limite invisible dans une combinaison de bandes apparaissant parfois nettement dans une autre. Le tracé assisté par détection de contour, qui propose un tracé suivant les gradients de l’image et que l’annotateur corrige, ce qui améliore à la fois la vitesse et la régularité. Et la double lecture des cas difficiles, deux annotateurs traitant indépendamment les configurations identifiées comme ambiguës et un troisième arbitrant les écarts. Cette quatrième pratique mérite d’être ciblée plutôt que généralisée. Appliquée à l’ensemble d’un corpus elle double le coût, appliquée aux seules configurations difficiles elle l’augmente marginalement et elle traite précisément là où la variabilité se concentre. Une observation complète ces quatre pratiques. Aucune ne compense l’absence de convention documentée, un annotateur précis appliquant une règle qu’il a inventée produisant un contour cohérent avec lui-même et incohérent avec ses collègues.Les erreurs les plus fréquentes
- Se fier à une métrique globale pour apprécier la qualité des contours.
- Comparer deux modèles sur un score unique sans mesure de bordure.
- Attribuer à un modèle un décalage qui relève de la géoréférence.
- Fixer une exigence de précision inférieure au désaccord inter-annotateurs.
- Ne pas mesurer ce désaccord séparément sur les bordures.
- Employer des fonctions de coût pondérées sur une référence bruitée.
- Lisser un contour sans vérifier l’effet sur la précision.
- Omettre de documenter les conventions de frontière.
- Contrôler la qualité par échantillonnage aléatoire de zones.
- Exprimer une exigence en score plutôt qu’en tolérance de terrain.
- Annoter les bordures à l’échelle de la vue d’ensemble plutôt qu’au zoom.
- Exiger une précision inférieure à la taille du pixel.
