Les douze articles précédents de cette série sur la segmentation d’images satellites ont traité des classes, des modalités, des outils et des erreurs. Celui-ci rassemble ces éléments en une méthode de constitution d’un corpus, du cadrage à la livraison.
Une observation le structure : l’ordre des opérations importe autant que leur contenu, plusieurs décisions devenant impossibles à prendre une fois la production lancée. Il prolonge l’article consacré aux erreurs en segmentation satellite.
Les huit étapes d’une constitution de corpus
Leur séquence conditionne le résultat autant que leur exécution. Le cadrage établit la question opérationnelle, la résolution nécessaire et la faisabilité. La conception définit la nomenclature, les conventions et le plan d’échantillonnage. Le pilote éprouve ces définitions sur un échantillon réduit et établit une cadence. La préparation acquiert les images, les corrige et les découpe en lots. La production annote selon le protocole établi. Le contrôle vérifie, corrige et mesure la qualité obtenue. La validation constitue le jeu d’évaluation et mesure ce qui est atteignable. Et la livraison assemble le corpus, sa documentation et ses métadonnées.Le cadrage
Quatre questions déterminent la faisabilité d’un projet de segmentation d’images satellites. Elles se posent en une seule réunion. Quelle décision dépendra de ce corpus, formulation qui détermine la nomenclature et écarte les classes dont personne n’a l’usage. Les objets visés sont-ils visibles à la résolution accessible, question que la règle des plusieurs pixels tranche immédiatement. L’information recherchée est-elle contenue dans l’imagerie envisagée, distinction entre couverture et usage que l’article consacré à la nomenclature a posée. Et quelle vérité terrain existe ou peut être constituée, facteur limitant que la série précédente a documenté. Une réponse négative à l’une de ces quatre questions arrête le projet ou le redéfinit, et l’obtenir maintenant coûte une réunion quand l’obtenir après coûte le projet.La conception
Cette étape produit les documents qui gouvernent tout le reste. Elle occupe généralement quelques jours. La nomenclature définit les classes par des critères observables et quantifiés, avec leur hiérarchie, les règles de priorité et l’unité minimale de cartographie. Les conventions géométriques fixent la position des limites sur les transitions graduelles, le traitement des pixels mixtes et celui des éléments de bordure. Le plan d’échantillonnage détermine quelles zones seront annotées, selon quelle stratification et avec quelles probabilités d’inclusion, exigence que l’article consacré à la validation dans la série précédente a présentée comme non négociable. Et les spécifications techniques fixent le format, la projection, la taille des imagettes et les métadonnées à conserver. Une observation traverse ces quatre documents. Ils se rédigent avant la production et ils se modifient très difficilement après, un changement invalidant le travail déjà produit.Le pilote
Cette étape sépare une conception théorique d’un protocole applicable. Son omission constitue l’erreur la plus fréquente en segmentation d’images satellites. Le principe consiste à faire annoter un échantillon réduit et représentatif par plusieurs personnes indépendamment, dans les conditions réelles du projet. Cinq informations en découlent. Une cadence mesurée, qui transforme une estimation de coût en chiffre défendable. Le taux d’accord entre annotateurs, qui borne la performance atteignable. La liste des cas ambigus, qui alimente le référentiel de cas. Les insuffisances de la nomenclature, révélées par les questions posées. Et la validation du montage technique, un problème de format se manifestant immédiatement. Une conséquence importante en découle pour un corpus de segmentation d’images satellites. Un désaccord élevé n’indique pas des annotateurs médiocres mais des définitions insuffisantes, et la réponse consiste à préciser plutôt qu’à remplacer. Cette étape occupe quelques jours sur un projet qui en compte plusieurs mois, et elle est le seul moyen d’établir qu’un protocole fonctionne avant d’y engager un budget.La préparation des données
Cette étape est technique et ses défauts se propagent silencieusement. Six opérations la composent. La sélection des acquisitions selon les critères de date, de couverture nuageuse et de configuration. La correction géométrique et la vérification de l’alignement entre sources. L’harmonisation radiométrique lorsque plusieurs acquisitions sont combinées. Le découpage en imagettes avec recouvrement. L’attribution des lots aux annotateurs. Et la conservation des métadonnées associées à chaque imagette. Une vérification mérite d’être posée comme obligatoire. Contrôler l’alignement entre l’imagerie annotée et toute référence employée évite un décalage systématique qui sera ensuite attribué à l’annotation ou au modèle, difficulté que l’article consacré aux frontières a détaillée.La production
Cette étape représente l’essentiel du volume. Sa qualité dépend de l’organisation davantage que des personnes. Quatre dispositifs la soutiennent. Le référentiel de cas accessible pendant le travail, et non consulté au démarrage puis oublié. Un canal de remontée des cas nouveaux, tout cas non couvert devant être arbitré et ajouté au référentiel plutôt que tranché individuellement. Un suivi de cadence par annotateur, qui révèle une difficulté locale ou une dérive avant qu’elle affecte un volume important. Et des sessions de calibration périodiques, où plusieurs annotateurs traitent le même échantillon et comparent, ce qui maintient la cohérence sur la durée. Ce quatrième dispositif est le plus négligé et le plus utile sur un projet long. La cohérence se dégrade naturellement avec le temps, chaque annotateur affinant sa propre interprétation, et seule une recalibration régulière l’entretient.Le contrôle qualité
Cette étape ne se réduit pas à une relecture. Son organisation détermine son efficacité. Trois modes se combinent utilement. Le contrôle systématique automatique vérifie ce qui est vérifiable sans jugement : topologie, valeurs de classe valides, absence de vides, respect de l’unité minimale. Le contrôle ciblé examine préférentiellement les zones de bordure et les configurations identifiées comme difficiles, ce que l’article consacré aux frontières a montré nettement plus productif qu’un échantillonnage aléatoire. Et le contrôle aléatoire léger fournit une estimation de la qualité globale que le contrôle ciblé ne donne pas. Une exigence d’indépendance accompagne ces trois modes. Un contrôleur ne doit pas vérifier son propre travail, un annotateur validant naturellement sa propre logique.La validation
Cette étape est distincte de la production. Son exigence de qualité est supérieure. Quatre principes la gouvernent. Le jeu d’évaluation se constitue sur des zones et des périodes distinctes de l’entraînement, séparation géographique et non aléatoire. Il se produit selon un plan probabiliste documenté, avec stratification lorsque des classes rares sont concernées. Il se traite avec un soin supérieur, lecture multiple et arbitrage documenté sur les cas ambigus. Et le désaccord entre annotateurs y est mesuré séparément sur les bordures, ce qui fournit la borne pertinente. Une recommandation contre-intuitive en découle. Concentrer l’effort expert sur un jeu d’évaluation restreint vaut mieux que le répartir uniformément sur un corpus étendu, la qualité de la référence bornant ce que toute mesure peut établir.La livraison
Cette étape détermine ce que le corpus permettra de faire. Elle est régulièrement expédiée. Six éléments composent une livraison complète. Les annotations elles-mêmes, dans les deux formats matriciel et vectoriel lorsque les deux sont utiles. Le document de nomenclature avec ses définitions et son référentiel de cas illustré. La documentation de composition, indiquant la répartition par région, par saison, par source et par classe. Les métadonnées d’acquisition associées à chaque élément, date, capteur et niveau de traitement. Le rapport de qualité, avec les taux d’accord mesurés et la méthode de contrôle employée. Et le journal des exclusions, recensant ce qui n’a pas pu être annoté et pourquoi. Ce dernier élément est le plus souvent omis et il distingue une lacune connue d’une lacune invisible, ce qui change la valeur du corpus pour tout usage ultérieur.Le dimensionnement d’un corpus
Cette question reçoit rarement une réponse fondée. Elle précède pourtant la production. Trois approches permettent d’estimer le volume nécessaire et leur fiabilité diffère. La règle empirique par classe fixe un nombre minimal d’exemples pour chaque catégorie, en majorant fortement pour les classes rares et les distinctions difficiles. La courbe d’apprentissage entraîne le modèle sur des fractions croissantes du corpus disponible et observe où la performance cesse de progresser, méthode fiable et qui suppose de disposer déjà d’une partie du corpus. Et l’annotation active constitue le corpus progressivement, en sélectionnant à chaque itération les exemples sur lesquels le modèle hésite, ce qui réduit le volume nécessaire à qualité égale. Une observation traverse ces trois approches. Le volume nécessaire dépend davantage de la diversité couverte que du nombre brut d’exemples, mille exemples variés valant mieux que dix mille exemples semblables en segmentation d’images satellites. Une conséquence pratique en découle. Le plan d’échantillonnage compte plus que la taille cible, et un projet qui ne sait pas répondre à la question du volume gagne à commencer petit et à mesurer plutôt qu’à estimer largement.Le corpus comme actif
Une lecture complète cette méthode car elle change la façon de concevoir l’effort consenti. Un corpus de segmentation d’images satellites correctement documenté conserve sa valeur au delà du projet qui l’a produit, pour trois raisons. L’imagerie sous-jacente ne périme pas, l’archive publique restant accessible indéfiniment, ce qui permet de réexaminer un corpus des années plus tard. La vérité terrain enregistre ce qui était au sol, information qu’aucun modèle ultérieur ne rend obsolète. Et un corpus documenté s’étend, un second projet s’y ajoutant plutôt que recommençant. Deux conditions gouvernent ces trois propriétés et elles sont peu coûteuses. La documentation doit exister, un corpus non documenté perdant sa valeur au départ de ceux qui l’ont produit. Et la référence doit être conservée séparément des sorties de modèle, un projet stockant des prédictions plutôt que des observations ayant stocké quelque chose qui vieillit.Les arbitrages à trancher
Cinq décisions structurantes conditionnent l’ensemble d’un corpus de segmentation d’images satellites. Elles se posent au cadrage. Volume contre qualité. Un corpus plus grand et moins cohérent vaut moins qu’un corpus plus petit et régulier, la borne du désaccord s’appliquant à l’ensemble. Étendue contre profondeur. Couvrir plusieurs régions superficiellement ou une seule complètement répond à des besoins différents, la transférabilité géographique étant limitée. Entraînement contre évaluation. La répartition de l’effort entre les deux favorise généralement le second au delà de ce que l’intuition suggère. Automatisation contre contrôle. La pré-annotation accélère l’entraînement et doit être proscrite pour la référence d’évaluation. Et exhaustivité contre échantillonnage. L’échelle interdisant l’exhaustivité, la qualité du plan d’échantillonnage remplace la couverture complète et elle doit être documentée.Le suivi de la cohérence dans le temps
Cette difficulté échappe aux contrôles ponctuels. Elle est propre aux projets longs. La cohérence d’un corpus se dégrade naturellement au fil des mois, sans qu’aucune erreur individuelle soit commise. Trois mécanismes la produisent. Chaque annotateur affine progressivement sa propre interprétation des règles, ce qui écarte lentement les pratiques les unes des autres. Les cas nouveaux tranchés au fil de l’eau ne sont pas toujours répercutés aux autres. Et les rotations de personnel introduisent des interprétations différentes que rien ne recale sur les précédentes. Trois dispositifs y répondent. Les sessions de calibration périodiques, où plusieurs annotateurs traitent le même échantillon et confrontent leurs résultats. La réannotation d’un échantillon ancien à intervalles réguliers, qui mesure directement la dérive. Et la mise à jour effective du référentiel de cas, chaque arbitrage nouveau devant y être consigné et diffusé. Ce deuxième dispositif est le plus informatif et le moins pratiqué en segmentation d’images satellites. Réannoter aujourd’hui un lot traité six mois plus tôt révèle un écart que rien d’autre ne montre, et cet écart constitue la mesure la plus directe de la cohérence interne d’un corpus.Le calendrier type
Une répartition indicative aide au cadrage, sous réserve que tout dépend du projet. Le cadrage et la conception représentent quelques jours et ils déterminent le plafond de tout le reste. Le pilote représente quelques jours supplémentaires et il transforme les estimations en mesures. La préparation représente une part modeste et automatisable après le premier projet. La production représente l’essentiel de la durée et son estimation découle du pilote. Le contrôle représente une fraction de la production, généralement sous-estimée. Et la validation représente un volume réduit et un effort expert concentré. Une observation traverse cette répartition. Les étapes qui déterminent la qualité représentent une fraction du temps total et elles sont précisément celles que la pression de calendrier conduit à comprimer.Le rôle de l’expert métier
Cette contrainte détermine la qualité de tout ce qui précède. Elle est mal gérée dans la plupart des projets de segmentation d’images satellites. Une nomenclature ne se conçoit pas depuis une image seule. Elle demande quelqu’un qui connaît le terrain et l’usage, et qui peut trancher ce que l’observation laisse indécidable. Quatre interventions relèvent spécifiquement de cette personne. La validation de la pertinence des classes au regard de l’usage. L’arbitrage des cas limites sur des exemples réels. La vérification des définitions opérationnelles, une définition pouvant paraître claire à un technicien et inapplicable à qui connaît la variété des situations. Et l’arbitrage des cas nouveaux remontés pendant la production. Une difficulté pratique accompagne cette exigence. Cette personne est généralement rare et occupée, et son temps constitue le facteur limitant de la phase de conception plutôt que le budget d’annotation. Une conséquence organisationnelle en découle pour un projet de segmentation d’images satellites. Concentrer son intervention sur les décisions structurantes, en lui présentant des cas préparés plutôt qu’une question ouverte, permet d’obtenir l’essentiel en quelques heures là où une démarche non préparée en consommerait plusieurs jours.Les erreurs les plus fréquentes
- Lancer la production avant d’avoir éprouvé la nomenclature par un pilote.
- Modifier la nomenclature en cours de production.
- Échantillonner au gré des disponibilités plutôt que selon un plan documenté.
- Constituer le jeu d’évaluation sur les mêmes zones que l’entraînement.
- Rendre le référentiel de cas inaccessible pendant le travail.
- Omettre les sessions de calibration sur un projet long.
- Faire contrôler un travail par celui qui l’a produit.
- Contrôler par échantillonnage aléatoire uniquement.
- Livrer sans documentation de composition.
- Omettre le journal des exclusions.
- Estimer un volume cible plutôt que de mesurer une courbe d’apprentissage.
- Ne jamais réannoter un échantillon ancien pour mesurer la dérive.
