Décrire une scène entière plutôt que d’y détecter des objets change la nature du travail. Chaque pixel reçoit une classe, aucune surface ne reste sans réponse, et cette exhaustivité impose de trancher des limites que personne n’aurait eu à décider en détection.
Cet article expose ces méthodes. Il prolonge le guide de l’imagerie satellite.
Ce que la segmentation sémantique produit
Quatre différences la séparent d’une détection d’objets en imagerie satellite.
Chaque pixel reçoit une classe, sans aucune exception ni zone vide.
Les surfaces continues y comptent autant que les objets isolés.
Aucune notion d’instance ne vient distinguer deux objets d’une même classe.
Et le résultat obtenu se lit comme une carte plutôt que comme une liste.
Une conséquence pratique importante en découle. La troisième différence oriente le choix, un décompte de bâtiments exigeant une segmentation par instance là où une surface bâtie se satisfait d’une classe unique.
Les classes qui structurent une nomenclature
Six familles de classes se rencontrent en imagerie satellite.
Les surfaces bâties ainsi que les espaces artificialisés.
Les surfaces agricoles, qu’elles soient cultivées ou en prairie.
Les milieux forestiers ainsi que les formations arborées.
Les surfaces en eau, qu’elles soient permanentes ou temporaires.
Les sols nus ainsi que les surfaces minérales.
Et les infrastructures linéaires, voies de circulation et réseaux.
Une observation importante en découle pour un projet d’imagerie satellite. La dernière famille pose une difficulté propre, une route étant à la fois une surface et un objet linéaire, ce qui oblige à décider si elle relève de la nomenclature de surface ou d’un traitement séparé.
Ce que la limite entre classes exige
Cinq situations imposent une convention explicite en imagerie satellite.
La lisière entre une forêt et une prairie attenante.
La frange séparant un tissu urbain de sa périphérie agricole.
La berge, dont la position varie avec le niveau de l’eau.
Le jardin d’une maison, tenu pour bâti ou végétal selon le point de vue.
Et la parcelle en friche, agricole ou naturelle selon son ancienneté.
Une conséquence pratique s’ensuit. Ces cinq situations reviennent sur presque chaque tuile, ce qui rend leur traitement plus déterminant pour la cohérence du corpus que le choix des classes elles-mêmes.
Ce que la granularité change
Quatre effets accompagnent un référentiel détaillé.
Le temps d’annotation croît bien plus vite que le nombre de classes.
Les confusions entre classes voisines se multiplient rapidement.
Le désaccord entre annotateurs augmente alors très sensiblement.
Et certaines distinctions deviennent tout simplement impossibles à la résolution disponible.
Une observation importante en découle. Le dernier effet borne toute ambition, une nomenclature distinguant des cultures que le pixel ne sépare pas produisant un corpus dont une part des classes reste indécidable quel que soit le soin apporté.
Ce que la couverture exhaustive impose
Quatre contraintes découlent de l’obligation de tout classer en imagerie satellite.
Aucune surface ne peut rester sans décision explicite.
Les zones ambiguës doivent recevoir une classe en dépit du doute.
Les nuages et les ombres portées exigent un traitement explicite.
Et le temps passé par tuile devient prévisible mais élevé.
Une conséquence pratique importante en découle pour un projet d’imagerie satellite. La deuxième contrainte justifie une classe d’indétermination, faute de quoi les zones douteuses se répartissent silencieusement entre les classes voisines selon le jugement de chaque opérateur.
Ce que les outils apportent
Cinq assistances se rencontrent sur ce travail.
La sélection automatique par similarité de couleur ou de texture.
La propagation d’une classe sur toute une zone homogène.
Le remplissage automatique des surfaces restées non classées.
La superposition d’une couche cartographique déjà existante.
Et une pré-segmentation ensuite corrigée plutôt que produite.
Une observation en découle. La quatrième assistance rend un service considérable et introduit un risque, une couche existante orientant le tracé vers l’état qu’elle décrit plutôt que vers celui de l’image, ce qui reconduit ses propres erreurs et son ancienneté dans le nouveau corpus.
Ce que la saison change à la classification
Cinq surfaces d’imagerie satellite changent d’apparence au fil de l’année.
Une parcelle cultivée, laissée nue en hiver et couverte en été.
Une forêt de feuillus, dont le couvert disparaît durant la saison froide.
Une zone humide, dont l’étendue varie fortement selon les mois.
Une prairie, dont la couleur suit étroitement la pluviométrie.
Et un sol nu, qui peut être temporaire ou permanent selon le cas.
Une conséquence pratique importante en découle pour un projet d’imagerie satellite. La première surface impose une convention de date, une parcelle labourée devant être classée comme agricole plutôt que comme sol nu, ce qui suppose de raisonner sur l’usage du terrain et non sur son apparence à l’instant de la prise.
Ce que la mesure doit refléter
Cinq indicateurs décrivent la performance d’un tel système d’imagerie satellite.
La proportion de pixels correctement classés, toutes classes prises ensemble.
La performance mesurée par classe, qui révèle enfin les classes minoritaires.
La qualité des limites tracées, distincte de celle des surfaces.
Les confusions examinées par paires plutôt que les erreurs globales.
Et le comportement observé sur des territoires absents de l’entraînement.
Une conséquence pratique importante en découle. Le premier indicateur trompe systématiquement en imagerie satellite, une classe couvrant la majorité du territoire portant à elle seule le score global, ce qui masque un échec complet sur les classes rares que le projet visait pourtant.
Ce que le déséquilibre des classes impose
Quatre effets accompagnent une répartition très inégale des classes.
Les classes majoritaires dominent entièrement toute mesure globale.
Les classes rares apparaissent très peu dans un échantillon aléatoire.
Un contrôle par échantillonnage ne les rencontre que rarement.
Et l’enrichissement du corpus doit les cibler explicitement.
Une observation importante en découle pour un projet d’imagerie satellite. Le troisième effet rend le contrôle trompeur, une relecture aléatoire de tuiles portant presque entièrement sur les classes dominantes, ce qui impose un échantillonnage dirigé vers les classes que le projet cherche réellement à obtenir.
Aborder un projet de segmentation
Cinq questions le cadrent en imagerie satellite.
Faut-il des instances ou des surfaces. Cela change la méthode.
Les limites ambiguës sont-elles tranchées. Elles reviennent partout.
La granularité est-elle compatible avec la résolution. Sinon des classes restent indécidables.
Une classe d’indétermination existe-t-elle. Sans elle le doute se dissout.
Et la mesure est-elle ventilée par classe. La moyenne globale trompe.
Ces cinq réponses déterminent la cohérence du corpus. Les poser avant la production évite une nomenclature dont une partie ne sera jamais appliquée de façon reproductible.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.
L’exhaustivité oblige à trancher ce que la détection permettait d’ignorer.
Trois constats la composent.
Les limites entre classes voisines reviennent sur presque chaque tuile.
Une mesure globale de pixels correctement classés masque l’échec sur les classes rares.
Et une granularité incompatible avec la résolution produit des classes indécidables.
Ce constat prolonge le chapitre précédent, la description complète d’une scène exigeant davantage de conventions que la détection d’objets isolés.
Les erreurs les plus fréquentes
- Mesurer la performance en proportion globale de pixels corrects.
- Retenir une granularité que la résolution ne permet pas.
- Laisser les limites entre classes voisines à l’appréciation de chacun.
- Omettre une classe pour les zones indéterminées.
- Contrôler par échantillonnage aléatoire malgré un fort déséquilibre.
- Employer une couche cartographique existante sans en vérifier la date.
- Traiter les nuages et les ombres sans convention explicite.
- Confondre segmentation sémantique et segmentation par instance.
- Négliger la qualité des limites au profit de celle des surfaces.
- Ajouter des classes sans mesurer le désaccord qu’elles introduisent.
Ce que le corpus doit couvrir ici
Cinq axes structurent un dataset de segmentation en imagerie satellite.
Les types de paysage couverts, du très artificialisé au parfaitement naturel.
Les régions traitées, dont les formes et les matériaux diffèrent.
Les saisons, qui modifient l’apparence de plusieurs classes.
Les zones de transition, où se concentrent les limites ambiguës.
Et les classes rares, systématiquement absentes d’un échantillon non dirigé.
Une observation importante en découle. Le quatrième axe mérite un effort délibéré, les zones de transition étant à la fois les plus difficiles et les moins représentées dans une sélection aléatoire, ce qui produit un corpus riche en surfaces homogènes et pauvre là où le système échouera.
Ce que le désaccord entre annotateurs révèle
Quatre informations d’imagerie satellite sortent d’une double annotation sur les mêmes tuiles.
Les paires de classes que deux opérateurs ne séparent pas exactement de la même façon.
La proportion de surface sur laquelle ils divergent réellement.
La localisation précise de ces divergences, presque toujours aux limites.
Et les classes dont la définition demeure comprise différemment.
Une conséquence pratique importante en découle pour un projet d’imagerie satellite. La troisième information oriente utilement l’effort, un désaccord concentré sur des bandes étroites en bordure de classe indiquant un problème de convention plutôt que de compétence, ce qui se corrige par une règle écrite et non par une formation supplémentaire.
Ce que la hiérarchie des classes permet
Quatre bénéfices d’imagerie satellite découlent d’une nomenclature organisée par niveaux.
Un niveau grossier reste toujours applicable quand le détail devient indécidable.
Les classes rares se regroupent sans que l’information soit perdue.
La performance se mesure à plusieurs niveaux de précision.
Et un même corpus sert plusieurs usages sans avoir à être repris.
Une observation importante en découle pour un projet d’imagerie satellite. Le premier bénéfice résout élégamment le problème de granularité, un annotateur incapable de distinguer deux cultures pouvant retenir la classe agricole du niveau supérieur, ce qui produit une information juste plutôt qu’une distinction inventée.
Trois décisions avant de produire
Trois décisions engagent un projet de segmentation en imagerie satellite.
Fixer une nomenclature dont chaque distinction reste décidable à la résolution disponible.
Écrire les règles de limite pour les cinq situations qui reviennent partout.
Et prévoir une classe d’indétermination, sans laquelle le doute se dissout silencieusement.
Ces trois décisions coûtent une réunion, elles précèdent la première tuile, et leur absence produit une nomenclature dont une partie ne sera jamais appliquée de façon reproductible.
Ce que la cohérence entre tuiles exige
Quatre défauts d’imagerie satellite apparaissent au raccord de deux tuiles voisines.
Une même surface classée différemment de part et d’autre de la limite de tuile.
Une limite de classe qui s’interrompt brutalement au bord de la tuile.
Un objet linéaire visiblement décalé d’une tuile à l’autre.
Et une zone de transition tranchée dans un sens puis dans l’autre sens.
Une conséquence pratique importante en découle pour un projet d’imagerie satellite. Le premier défaut ne se voit qu’après réassemblage, une tuile prise isolément paraissant parfaitement cohérente, ce qui impose un contrôle sur la mosaïque reconstituée plutôt que sur les tuiles séparées.
La question qui cadre la nomenclature
Une question détermine le référentiel à retenir en imagerie satellite.
Les classes servent-elles une décision ou une description.
Une décision, autoriser une construction ou déclencher un contrôle, se satisfait de quelques classes tranchées et tolère un regroupement grossier des autres surfaces.
Une description, inventaire d’occupation du sol ou suivi statistique, exige une nomenclature complète, cohérente entre régions et compatible avec les référentiels existants.
Cette question relève de l’usage et non de la technique, elle se pose avant la première tuile, et elle sépare une nomenclature de cinq classes d’une nomenclature qui en comptera plusieurs dizaines.
Trois vérifications sur un corpus segmenté
Trois contrôles qualifient un dataset de segmentation en imagerie satellite.
La performance ventilée par classe plutôt qu’une proportion globale de pixels.
La règle écrite pour les limites entre classes voisines.
Et la présence de zones de transition dans les tuiles annotées.
Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence cartographique, et leur absence indique un corpus dont le score annoncé reflète surtout la classe la plus étendue.
Ce que le prestataire apporte ici
Quatre apports distinguent une prestation de segmentation menée sur de l’imagerie satellite.
Un référentiel tranchant les limites avant la production plutôt qu’en cours.
Un contrôle conduit sur la mosaïque reconstituée et non sur des tuiles isolées.
Un échantillonnage dirigé vers les classes rares et les zones de transition.
Et une mesure de désaccord restituée avec le corpus livré.
Une conséquence pratique importante en découle. Le deuxième apport se remarque peu et coûte peu, un contrôle par raccord révélant des incohérences qu’aucune relecture de tuiles ne montre, ce qui en fait le dispositif le plus rentable propre à ce type de projet.
Ce que ce chapitre laisse au suivant
Une surface bâtie ne dit rien du nombre de bâtiments qu’elle contient.
Trois questions restent ouvertes en imagerie satellite.
Comment séparer des constructions mitoyennes en objets distincts.
Ce que l’emprise exacte d’un bâtiment suppose comme convention.
Et comment traiter le décalage entre toit visible et base au sol.
Ces trois questions relèvent de la détection de bâtiments, qui constitue l’objet du chapitre suivant.
Ce que les nuages et les ombres imposent
Quatre traitements se rencontrent pour ces surfaces perturbées en imagerie satellite.
Une classe entièrement dédiée, qui isole explicitement les zones inexploitables.
Un masque appliqué avant l’annotation, qui les retire purement du travail.
Une classification de ce que l’on devine sous la perturbation.
Et l’emploi d’une autre date d’acquisition pour combler la zone concernée.
Une conséquence pratique importante en découle pour un projet d’imagerie satellite. Le troisième traitement paraît généreux et se révèle nuisible, une surface classée d’après une supposition entrant dans le corpus au même titre qu’une observation, ce qui apprend au système à deviner plutôt qu’à signaler l’absence d’information.
Ce que la cadence de ce travail suppose
Quatre facteurs déterminent le temps passé sur une tuile.
Le nombre de classes réellement présentes dans la scène.
La longueur totale des limites à tracer.
La proportion de zones ambiguës effectivement rencontrées.
Et la finesse exigée sur le tracé des contours.
Une observation importante en découle pour un projet d’imagerie satellite. Le deuxième facteur explique un écart considérable entre territoires, une zone périurbaine morcelée demandant plusieurs fois le temps d’une plaine agricole de même surface, ce qui rend tout chiffrage à la tuile trompeur sans indication du type de paysage.
Ce que la comparaison entre dates exige ici
Quatre conditions rendent deux segmentations comparables.
Une nomenclature de classes strictement identique entre les deux dates.
Une superposition parfaitement exacte des images sous-jacentes.
Des conventions de limite inchangées d’une campagne à l’autre.
Et une saison équivalente pour toutes les classes qui en dépendent.
Une conséquence pratique importante en découle pour un projet d’imagerie satellite. La troisième condition est la plus fragile sur la durée, une règle de lisière modifiée entre deux campagnes produisant un recul ou une avancée de forêt qui ne traduit aucun changement réel du territoire.
Ce que le format de livraison change
Quatre formes de restitution se rencontrent en imagerie satellite.
Une image de classes, où chaque pixel porte un identifiant de classe.
Des polygones vectoriels, qui décrivent chaque surface par son contour.
Une couche distincte par classe, superposable dans un système géographique.
Et un format mixte, associant raster pour les surfaces et vecteur pour les objets.
Une observation importante en découle. La deuxième forme est la plus demandée et la plus coûteuse à produire, une conversion automatique depuis un masque produisant des contours dentelés qu’il faut simplifier, opération dont le paramétrage modifie les surfaces mesurées.
Ce que ce travail demande à l’annotateur
Cinq aptitudes conditionnent la qualité en segmentation d’imagerie satellite.
La patience sur un travail de tracé à la fois long et répétitif.
La rigueur dans l’application d’une règle de limite.
La capacité à reconnaître une zone qu’il ne sait pas classer.
Une lecture correcte des textures qui caractérisent chacune des classes.
Et une attention soutenue sur des tuiles parfois peu contrastées.
Une conséquence pratique importante en découle. La troisième aptitude est la plus déterminante ici, la couverture exhaustive obligeant à décider partout, ce qui transforme chaque hésitation en classe attribuée si l’opérateur ne dispose pas d’un moyen de signaler qu’il ne sait pas.
Ce que la surface minimale cartographiée fixe
Quatre effets découlent d’un seuil de surface en dessous duquel on ne classe pas.
Les objets isolés plus petits que le seuil disparaissent entièrement du résultat.
Le nombre de polygones à produire diminue alors fortement.
La cohérence entre opérateurs s’améliore sur les petits éléments.
Et le corpus devient comparable à une cartographie existante retenant le même seuil.
Une observation importante en découle pour un projet d’imagerie satellite. Le premier effet doit être accepté explicitement, un bosquet ou une mare plus petits que le seuil étant rattachés à la classe environnante, ce qui constitue une perte d’information assumée plutôt qu’une erreur d’annotation.
Ce que le premier lot doit établir
Quatre résultats justifient un lot d’essai avant la production.
Un temps moyen par tuile mesuré sur chaque type de paysage.
La liste des situations de limite que le référentiel n’avait pas prévues.
Un taux de désaccord entre deux opérateurs sur les mêmes tuiles.
Et la proportion de surface réellement indécidable.
Une conséquence pratique importante en découle pour un projet d’imagerie satellite. Le deuxième résultat est celui qui rentabilise l’essai, une dizaine de tuiles suffisant à révéler les cas que personne n’avait envisagés au cadrage, alors que les découvrir en production impose de reprendre tout ce qui a déjà été livré.
Ce qu’il faut retenir
La segmentation sémantique impose de décider ce que la détection permettait de laisser de côté.
Trois lectures se dégagent. Les limites entre classes voisines, lisières et franges périurbaines, reviennent sur presque chaque tuile, ce qui rend leur traitement plus déterminant pour la cohérence du corpus que le choix des classes elles-mêmes. Une mesure globale de pixels correctement classés trompe systématiquement, une classe couvrant la majorité du territoire portant à elle seule le score et masquant un échec complet sur les classes rares que le projet visait. Et une granularité incompatible avec la résolution disponible produit des classes indécidables, un référentiel distinguant des cultures que le pixel ne sépare pas restant inapplicable quel que soit le soin des annotateurs.
Pour la détection d’emprises, l’article consacré aux bâtiments et empreintes urbaines détaille la démarche. Pour la qualité du travail, l’article sur les petits objets et la fatigue visuelle l’expose.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation pour le géospatial. Et si vous préparez un projet de segmentation, échangeons sur votre besoin.
