Les onze articles précédents de cette série sur la segmentation d’images satellites ont signalé des erreurs au fil de leurs sujets respectifs. Celui-ci les rassemble et les classe par moment de survenue, méthode qui permet de détecter une difficulté là où elle apparaît plutôt qu’à la livraison.
Une observation traverse ce recensement : la quasi-totalité de ces erreurs se corrigent à un coût dérisoire au moment où elles se commettent et à un coût considérable ensuite. Il prolonge l’article consacré aux
modèles de segmentation satellite.
Les erreurs de cadrage
Cette famille survient avant toute manipulation de données.
Elle est la plus coûteuse, puisqu’elle invalide tout ce qui suit.
Viser des objets trop petits pour la résolution disponible constitue l’erreur la plus fréquente. La règle exposée dans l’article d’ouverture, qui veut qu’un objet couvre plusieurs pixels pour être délimité de façon fiable, tranche cette question en une minute et elle est rarement appliquée.
Demander une classe non observable constitue la deuxième. Un usage, un statut administratif ou une fonction ne se lisent pas sur une image, distinction que l’article consacré à la nomenclature a posée entre couverture et usage.
Confondre revisite annoncée et acquisitions exploitables constitue la troisième, une zone fréquemment nuageuse n’offrant qu’une fraction des acquisitions théoriques.
Et concevoir un projet de végétation comme un projet d’image unique constitue la quatrième, l’article correspondant ayant montré que l’information distinctive réside dans la série.
Ces quatre erreurs se détectent en une réunion et elles écartent les projets infaisables avant tout engagement.
Les erreurs de nomenclature
Cette famille conditionne tout le travail de segmentation d’images satellites qui suit.
Ses effets sont durables.
Fixer la nomenclature après avoir commencé l’annotation impose de reprendre ce qui a été produit, un changement de classes invalidant le travail existant.
Définir les classes par des étiquettes plutôt que par des critères observables produit une variabilité entre annotateurs que rien ne permet ensuite de démêler d’une erreur réelle.
Omettre les règles de priorité laisse chaque annotateur trancher seul les appartenances multiples.
Ne pas fixer l’unité minimale de cartographie produit un désaccord sur le volume de travail et une hétérogénéité dans le corpus.
Et multiplier les classes sans qu’une décision en dépende accroît le coût d’annotation, accroît le coût de validation et dégrade la performance par classe simultanément.
Les erreurs de convention
Cette famille concentre l’essentiel de la variabilité réelle d’un corpus.
Ne pas fixer la convention de frontière constitue l’erreur dominante, l’article correspondant ayant montré que les bordures concentrent le désaccord et déterminent le plafond de qualité.
Négliger le référentiel de cas limites laisse les configurations ambiguës être tranchées différemment par chaque annotateur et à chaque occasion.
Traiter les pixels mixtes sans règle explicite produit une incohérence systématique là où elle est la plus difficile à détecter.
Omettre le traitement des zones ombrées laisse une part de l’image relever du jugement individuel.
Et confondre emprise et empreinte de toiture sur le bâti, ou emprise et axe sur les réseaux, produit un livrable qui ne correspond pas à l’usage attendu.
Une observation traverse ces cinq erreurs. Chacune se corrige en quelques minutes avec un expert avant la production, et aucune ne se corrige après sans reprendre le corpus.
Les erreurs de constitution de corpus
Cette famille affecte la représentativité.
Ses effets n’apparaissent qu’au déploiement.
Échantillonner au gré des disponibilités plutôt que selon un plan produit un corpus dont la portée ne peut pas être établie.
Constituer un corpus sur une seule saison ne permet pas d’évaluer un produit annuel, difficulté que les articles consacrés à l’eau et à la végétation ont détaillée.
Négliger les configurations difficiles au profit des cas favorables produit une performance mesurée que le déploiement ne retrouvera pas.
Ne pas conserver les métadonnées d’acquisition, date, capteur et niveau de traitement, rend impossible tout diagnostic ultérieur.
Et reprendre une base existante comme vérité terrain sans mesurer son écart plafonne l’exactitude atteignable à celle de cette base et importe sa nomenclature.
Les erreurs de méthode
Cette famille produit des résultats qui paraissent bons sans l’être.
Cela la rend particulièrement dangereuse.
Séparer entraînement et évaluation aléatoirement plutôt que géographiquement produit une performance reflétant une mémorisation, deux imagettes voisines partageant trop d’information.
Évaluer par imagette plutôt que sur des zones entières produit un chiffre qui ne décrit pas le comportement sur une scène complète.
Se fier à une métrique globale masque les échecs sur les classes minoritaires et sur les contours, comme les articles correspondants l’ont montré.
Employer une chaîne d’augmentation conçue pour l’imagerie naturelle produit des exemples physiquement impossibles.
Et ne pas mesurer le désaccord entre annotateurs prive le projet de la borne supérieure de ce qu’il peut atteindre.
Les erreurs techniques
Cette famille relève de la manipulation des données.
Elle produit des effets systématiques.
Perdre la géoréférence lors d’un passage par un outil généraliste rend le résultat inexploitable ou impose un recalage approximatif.
Mélanger des projections différentes introduit des décalages qui seront attribués au modèle.
Négliger le décalage entre l’imagerie annotée et l’imagerie de production produit un écart systématique sur tous les contours.
Employer un niveau de traitement différent entre corpus et production présente au modèle une texture ou une radiométrie qu’il ne connaît pas, difficulté que les articles consacrés au radar et à l’hyperspectral ont détaillée.
Et charger une scène entière en mémoire plutôt que de la lire par fenêtres bloque simplement le traitement au delà d’une certaine taille.
Les erreurs de post-traitement
Cette famille intervient tardivement.
Elle peut dégrader un bon résultat de segmentation d’images satellites.
Régulariser trop agressivement supprime des détails réels au profit d’une apparence améliorée.
Simplifier des contours sans documenter la tolérance introduit un écart géométrique dont personne ne connaîtra l’ampleur.
Squelettiser sans traiter les artefacts d’intersection produit un réseau comportant des branches inexistantes.
Reconnecter abusivement des segments crée des liaisons qui n’existent pas sur le terrain.
Et convertir en vectoriel sans vérifier la topologie produit des polygones se recouvrant ou laissant des vides, ce qui rend le résultat inexploitable dans un système d’information géographique.
Les erreurs de livraison
Cette famille concerne des travaux techniquement corrects.
Elle en compromet l’usage.
Livrer dans un format étranger aux pratiques du client produit un résultat inutilisé quelle que soit sa qualité.
Omettre la documentation de composition rend le corpus inexploitable pour toute revendication ultérieure et inextensible pour un second projet.
Ne pas consigner les conventions employées interdit à un tiers de comprendre ce que le livrable décrit.
Omettre le journal des exclusions transforme une lacune connue en lacune invisible.
Et livrer un seul format lorsque deux étaient utiles, matriciel et vectoriel, impose au client une conversion dont les paramètres ne seront pas documentés.
Les erreurs de pérennité
Cette famille survient après la livraison.
Elle est la moins anticipée de toutes.
Ne pas prévoir de corpus de référence maintenu rend la dérive de performance constatable sans être mesurable.
Négliger l’évolution des sources laisse un dispositif fonctionner sur des données dont les caractéristiques ont changé.
Omettre de consigner la version du corpus et la partition employée rend un résultat irreproductible.
Et laisser la connaissance des conventions dans la tête d’une personne rend le corpus inextensible dès son départ.
Ces quatre erreurs de pérennité partagent une propriété commune. Elles ne coûtent rien tant que rien ne change, et elles coûtent la reconstitution complète dès que quelque chose change, ce qui les rend invisibles jusqu’au moment où elles deviennent maximales.
Les erreurs organisationnelles
Cette famille ne relève d’aucun moment technique.
Elle est pourtant fréquente en segmentation d’images satellites.
Confier l’annotation à des personnes sans connaissance du terrain produit des délimitations plausibles et fausses, la reconnaissance visuelle ne suffisant pas dans ce domaine.
Faire annoter et contrôler par les mêmes personnes supprime l’indépendance du contrôle, un annotateur validant naturellement sa propre logique.
Ne pas rendre le référentiel de cas accessible pendant le travail le réduit à un document consulté au démarrage puis oublié.
Négliger la rotation de personnel laisse partir avec une personne les conventions qu’elle avait intériorisées sans les écrire.
Et optimiser la cadence au détriment de la cohérence produit un corpus volumineux dont la variabilité interne annule le bénéfice du volume.
Cette dernière erreur mérite d’être soulignée en segmentation d’images satellites. Un corpus deux fois plus grand et deux fois moins cohérent vaut moins qu’un corpus plus petit et régulier, la borne du désaccord s’appliquant à l’ensemble.
La structure commune de ces erreurs
Cette observation explique leur persistance.
La plupart de ces erreurs partagent trois propriétés qui les rendent difficiles à éviter.
Elles se commettent par omission plutôt que par action, une décision non prise étant moins visible qu’une décision erronée.
Elles ne produisent aucun effet immédiat, leurs conséquences apparaissant des semaines ou des mois plus tard.
Et leur correction ne produit aucun livrable visible, ce qui la rend difficile à justifier auprès d’un commanditaire attendant un résultat.
Cette asymétrie profonde entre le coût de prévention et le coût de correction constitue la caractéristique dominante de ce recensement. Une convention de frontière écrite coûte une heure ; sa reconstitution après production coûte le corpus entier.
Le dispositif de prévention
Six mesures traitent la majorité des erreurs recensées.
Leur coût total est modeste.
Le cadrage en quatre questions, résolution, observabilité, disponibilité et vérité terrain, qui occupe une réunion et écarte les projets infaisables.
La nomenclature documentée avec définitions observables, règles de priorité et unité minimale, qui occupe une demi-journée avec un expert.
Le référentiel de cas limites illustré, constitué sur des exemples réels avant la production.
Le pilote d’annotation, qui établit une cadence, révèle les cas ambigus et mesure le désaccord entre annotateurs.
La séparation géographique du jeu d’évaluation, décidée avant la constitution du corpus plutôt qu’après.
Et la documentation produite pendant, composition, conventions et métadonnées, qui ne se reconstitue pas après.
L’ensemble représente quelques jours sur un projet qui en compte plusieurs mois, et il traite les causes de la majorité des échecs recensés.
Le coût comparé des erreurs
Toutes ne coûtent pas la même chose.
Cette lecture économique éclaire les priorités.
Une erreur de cadrage coûte l’intégralité du projet, rien de ce qui a été produit ne servant.
Une erreur de nomenclature ou de convention coûte le corpus, dont la reprise représente le poste dominant d’un budget.
Une erreur de constitution coûte l’extension du corpus, les exemples manquants devant être produits sans que les existants soient perdus.
Une erreur de méthode coûte l’évaluation à refaire et, plus gravement, la crédibilité d’un résultat déjà annoncé.
Une erreur technique coûte un retraitement, généralement automatisable et donc modeste.
Et une erreur de pérennité coûte la reconstitution, plus cher que la construction initiale puisque le contexte a été perdu.
Cette gradation conduit à une conclusion pratique en segmentation d’images satellites. L’effort de prévention se place le plus efficacement sur les trois premières familles, où il coûte quelques jours et évite des mois.
Les signaux d’alerte
Six signes se repèrent tôt.
Ils indiquent qu’un projet de segmentation d’images satellites s’engage mal.
Personne ne peut nommer la décision que le résultat éclairera.
Les annotateurs se demandent entre eux comment traiter un cas, ce qui signifie que la réponse n’existe nulle part.
Les mêmes désaccords reviennent sur la même configuration, ce qui signifie que la convention la couvre insuffisamment.
L’évaluation est prévue sur une partie du même jeu que l’entraînement.
Le calendrier ne comporte pas de phase de constitution de corpus, ce qui indique que ce travail n’a pas été identifié.
Et aucun utilisateur final n’a participé aux discussions, ce qui laisse ouverte la question de l’usage réel.
Reprendre un corpus défaillant
Un prestataire de segmentation d’images satellites est régulièrement sollicité après un premier travail insatisfaisant.
Quatre questions déterminent ce qui peut être sauvé et elles se traitent en quelques jours.
À quelle famille appartient la défaillance. Une erreur technique se corrige par retraitement, une erreur de convention impose de réexaminer les annotations, une erreur de cadrage impose de recommencer.
Les conventions employées sont-elles documentées. Leur présence permet d’identifier précisément ce qui doit être repris, leur absence impose de reconstituer par échantillonnage ce que les annotateurs faisaient.
La variabilité est-elle mesurable. Un échantillon réannoté par un expert permet de quantifier l’écart et donc de décider si une correction partielle suffit.
Et les métadonnées d’acquisition ont-elles été conservées. Leur absence interdit de distinguer une erreur d’annotation d’un écart de date ou de traitement.
Une observation importante en découle. Un corpus documenté même imparfait se répare, quand un corpus non documenté se réannote, ce qui rend la documentation déterminante rétrospectivement autant que sur le moment.
Ce que ce recensement offre à un prestataire
Trois conséquences commerciales se dégagent de ce recensement.
La première est que la prestation de cadrage a une valeur démontrable. Un interlocuteur capable de poser les quatre questions de faisabilité avant l’engagement épargne à son client un échec dont le coût dépasse largement celui du cadrage.
La deuxième est que les familles dominantes, nomenclature, convention et constitution de corpus, relèvent précisément du domaine de compétence d’un prestataire d’annotation, ce qui rend son intervention plus déterminante que celle de l’équipe de modélisation.
Et la troisième est que ces erreurs sont peu discutées publiquement, ce qui rend leur exposition différenciante. Un prestataire capable de nommer ce qui fait échouer un projet démontre une expérience qu’aucune présentation de capacités ne remplace.
Les erreurs qui n’en sont pas
Une nuance mérite d’être apportée, tous les écarts constatés ne relevant pas d’une erreur.
Trois situations sont régulièrement traitées comme des défaillances alors qu’elles sont normales.
Un désaccord entre annotateurs sur les cas ambigus est attendu et il constitue une information plutôt qu’un défaut. Sa mesure fournit la borne de performance atteignable, et sa disparition complète signalerait plutôt une convention trop grossière.
Une performance inférieure sur les classes rares est structurelle et non corrigible par un meilleur travail, le déséquilibre étant une propriété du territoire.
Et une baisse de performance sur une géographie nouvelle est documentée par la recherche, ce qui en fait une limite connue plutôt qu’un échec du modèle.
Une conséquence pratique en découle pour un projet de segmentation d’images satellites. Distinguer une erreur d’une limite évite de consacrer un effort à corriger ce qui ne peut pas l’être, et cette distinction se pose au moment du diagnostic plutôt qu’après plusieurs tentatives infructueuses.
Pourquoi ces erreurs persistent
Une observation transversale mérite de clore ce recensement car elle explique que des erreurs connues continuent de se produire.
Trois mécanismes entretiennent leur persistance au delà de l’ignorance.
La pression de calendrier favorise systématiquement les raccourcis, les six mesures de prévention retardant toutes le premier résultat visible sans rien produire d’exhibable.
L’asymétrie d’information entre celui qui commande et celui qui produit fait qu’un commanditaire ne peut pas distinguer un travail rigoureux d’un travail rapide avant que les conséquences n’apparaissent.
Et l’absence de norme partagée laisse chaque projet réinventer ses conventions, la littérature scientifique documentant les bonnes pratiques sans qu’aucune obligation ne les impose dans un contexte commercial.
Ce troisième mécanisme évolue. Les exigences réglementaires que les articles précédents ont signalées, et la montée des acheteurs institutionnels, introduisent progressivement une contrainte de méthode qui n’existait pas.
Une conséquence en découle pour un prestataire de segmentation d’images satellites. Adopter ces pratiques maintenant revient à anticiper une exigence qui arrive plutôt qu’à répondre à une qui existe, position considérablement moins coûteuse que l’inverse.
Une liste de vérification avant production
Dix points condensent ce recensement en un contrôle applicable avant de lancer une production de segmentation d’images satellites.
La décision que le résultat éclairera est nommée.
Les objets visés sont visibles à la résolution disponible.
Les classes sont définies par des critères observables et quantifiés.
Les règles de priorité et l’unité minimale sont fixées.
La convention de frontière est écrite et illustrée.
Le référentiel de cas limites existe et il est accessible pendant le travail.
Un pilote a établi une cadence et mesuré le désaccord entre annotateurs.
Le plan d’échantillonnage est documenté et il couvre les configurations difficiles.
La séparation géographique du jeu d’évaluation est décidée.
Et les métadonnées à conserver avec chaque annotation sont listées.
Un projet cochant ces dix points a traité l’essentiel des causes recensées. Un projet en cochant moins de la moitié rencontrera probablement plusieurs des familles exposées, et il vaut mieux le savoir avant d’engager le budget d’annotation.
Exposer ces erreurs à un client
Une dimension commerciale mérite d’être posée car nommer les échecs possibles paraît contre-productif et ne l’est pas.
Trois raisons justifient cette transparence en segmentation d’images satellites.
Un client averti pose de meilleures questions, ce qui produit un projet mieux cadré et moins de litiges à la livraison.
Un prestataire capable de nommer ce qui fait échouer un projet démontre une expérience qu’aucune présentation de capacités ne remplace, et cette démonstration coûte une conversation.
Et une difficulté annoncée avant qu’elle survienne se traite conjointement, quand la même difficulté découverte à la livraison devient un reproche.
Une réserve accompagne cette recommandation. Exposer les erreurs sans exposer le dispositif qui les traite installe une inquiétude sans y répondre, ce qui plaide pour présenter systématiquement les deux ensemble.
Ce qu’il faut retenir
Les erreurs de ce domaine se classent en neuf familles par moment de survenue, et les trois premières, cadrage, nomenclature et convention, déterminent le plafond de tout ce qui suit.
Trois lectures se dégagent. La plupart de ces erreurs se commettent par omission plutôt que par action, ne produisent aucun effet immédiat et ne laissent aucune trace visible lorsqu’on les corrige, trois propriétés qui expliquent leur persistance malgré leur caractère évitable. L’asymétrie entre coût de prévention et coût de correction est extrême, une convention de frontière écrite coûtant une heure quand sa reconstitution après production coûte le corpus entier. Et six mesures de prévention représentant quelques jours sur un projet de plusieurs mois traitent les causes de la majorité des échecs recensés, ce qui en fait l’investissement le plus rentable d’un projet.
Pour la vue prospective de ce domaine, l’article consacré aux
tendances de la segmentation satellite examine les évolutions. Pour la constitution d’un corpus, l’article sur le
dataset de segmentation satellite détaille la méthode.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée au
traitement de données géospatiales. Et si vous souhaitez faire cadrer un projet avant de l’engager,
échangeons sur votre projet.
