Un travail de référence publié dans une revue à comité de lecture énonce un fait que la plupart des projets ignorent : la surface de changement d’occupation ou d’usage du sol obtenue directement à partir d’une carte peut différer fortement de la surface réelle du changement, en raison de l’erreur de classification de la carte.Autrement dit, compter les pixels d’une classe ne donne pas sa surface. Ce constat paraît technique et il a des conséquences considérables, puisque de nombreuses décisions reposent sur des surfaces ainsi calculées.Cet article expose ce que valider signifie, la méthode établie et ce qu’elle demande en données de référence. Il prolonge l’article consacré aux startups de l’observation de la Terre.
Pourquoi compter les pixels ne suffit pas
Ce mécanisme est simple et largement méconnu en observation de la Terre.Une classification d’observation de la Terre comporte deux types d’erreur. Des surfaces attribuées à une classe alors qu’elles relèvent d’une autre, et des surfaces relevant d’une classe qui ont été attribuées ailleurs.Ces deux types d’erreur ne se compensent pas. Une classe rare située au sein d’une classe abondante reçoit typiquement plus d’erreurs qu’elle n’en produit, ce qui gonfle sa surface apparente.Une publication du domaine formule la conséquence : si l’on s’appuie sur le comptage de pixels, la surface cartographiée de l’objet d’intérêt peut être considérablement différente de la surface réelle.La même source relève un fait historique instructif : au moins jusqu’en 2010, le biais et l’incertitude étaient largement ignorés dans les applications de télédétection.La méthode de validation établie
Ce cadre fait référence dans le domaine de l’observation de la Terre.Il mérite d’être exposé dans ses éléments.Le travail de référence cité formule la recommandation centrale : les surfaces cartographiées devraient être ajustées pour éliminer le biais attribuable à l’erreur de classification, et ces estimations de surface corrigées de l’erreur devraient être accompagnées d’intervalles de confiance quantifiant la variabilité d’échantillonnage de la surface estimée.Deux exigences bien distinctes s’y lisent. La correction du biais, qui emploie les erreurs mesurées sur un échantillon pour ajuster la surface. Et l’intervalle de confiance, qui exprime ce que l’on ne sait pas.La même source énumère ce qu’une évaluation devrait contenir : une description claire du plan d’échantillonnage incluant la taille de l’échantillon et les détails de stratification, une matrice d’erreur, la surface ou la proportion de surface de chaque catégorie selon la carte, et des mesures descriptives d’exactitude telles que l’exactitude de l’utilisateur, celle du producteur et l’exactitude globale.Cette liste de cinq éléments constitue un standard vérifiable. Un produit accompagné de ces cinq éléments peut être apprécié ; un produit annonçant un seul chiffre ne le peut pas.Ce que la recherche constate sur les pratiques
Cette observation documente un écart entre méthode et pratique.Une observation empirique mérite d’être citée car elle documente un écart entre méthode et pratique.Le même travail relève qu’une évaluation des articles sur le changement d’occupation du sol publiés entre 2005 et 2010 dans deux revues de télédétection a révélé que les évaluations d’exactitude omettent souvent cette information clé.Un travail ultérieur des mêmes auteurs formule un constat plus large : les études de changement d’occupation du sol omettent régulièrement d’évaluer l’exactitude des cartes de changement finales, et peu d’études publiées exploitent pleinement l’information obtenue des évaluations d’exactitude.Ces deux constats sont importants pour deux raisons précises. Ils émanent de la littérature scientifique, où l’exigence méthodologique est en principe la plus élevée. Et ils portent sur des travaux publiés, donc examinés par des pairs.Si l’écart existe à ce niveau, il est raisonnable de supposer qu’il est au moins aussi grand dans les productions commerciales, où aucun examen équivalent n’intervient.Les trois mesures d’exactitude
Leur confusion produit l’essentiel des malentendus en observation de la Terre.Trois notions distinctes sont recouvertes par ce terme unique.L’exactitude globale exprime la proportion de la carte correctement classée. C’est le chiffre le plus souvent annoncé et le moins informatif, puisqu’il est dominé par les classes abondantes.L’exactitude de l’utilisateur exprime, pour une classe donnée, la proportion des surfaces ainsi cartographiées qui appartiennent réellement à cette classe. Elle répond à la question de celui qui emploie la carte.L’exactitude du producteur exprime, pour une classe donnée, la proportion des surfaces réelles qui ont été correctement cartographiées. Elle répond à la question de celui qui l’a produite.Ces deux dernières mesures divergent fortement sur les classes rares, et une carte peut afficher une exactitude globale élevée tout en manquant l’essentiel d’une classe minoritaire.Cette observation recoupe précisément ce que le cluster consacré à l’imagerie médicale avait documenté sous une autre forme : un indicateur global masque des performances très inégales entre catégories.Le plan d’échantillonnage
Il détermine la validité de toute l’évaluation.Sa constitution appelle des décisions explicites.L’échantillonnage aléatoire simple répartit les points proportionnellement aux surfaces, ce qui laisse les classes rares sous-représentées et rend leur évaluation imprécise.L’échantillonnage stratifié en observation de la Terre répartit les points par classe, ce qui permet d’évaluer chaque catégorie avec une précision comparable. Un travail portant sur un dispositif européen de surveillance décrit cette approche en précisant qu’elle repose sur des probabilités d’inclusion, les strates étant définies par la carte elle-même.Une difficulté propre mérite d’être signalée. La même publication relève que le problème principal survient lorsque des erreurs d’omission sont observées dans une strate très étendue, ces omissions portant des poids de surface très importants et pouvant produire de grandes incertitudes et de larges intervalles de confiance pour les catégories ne couvrant que de petites surfaces.Cette difficulté est structurelle. Détecter un phénomène rare dans une étendue vaste demande un effort d’échantillonnage considérable, et une conception insuffisante produit un résultat dont l’intervalle de confiance est trop large pour être utile.La qualité de la référence
C’est le point où le travail d’annotation intervient.Une exigence traverse tout ce qui précède et elle constitue le point où le travail d’annotation intervient.Les mesures d’observation de la Terre décrites supposent que l’étiquette de référence est correcte. Si elle ne l’est pas, l’évaluation mesure un désaccord entre deux sources faillibles plutôt qu’une performance.Trois exigences en découlent pour la constitution d’une référence. Elle doit être obtenue par une source indépendante de celle qui a produit la carte, principe que tous les clusters de cette série ont établi. Elle doit être plus fiable que le produit évalué, ce qui suppose une photo-interprétation experte, un relevé de terrain ou une imagerie de résolution supérieure. Et son propre taux d’erreur doit être connu, faute de quoi il contamine silencieusement les mesures.Ce troisième point est le moins pratiqué. Mesurer le désaccord entre deux interprètes sur un sous-échantillon donne une borne à ce que l’évaluation peut établir, et cette mesure coûte quelques heures.Un travail récent illustre une réponse honnête à cette difficulté, en accompagnant une carte mondiale d’une couche de confiance identifiant les régions où les prédictions sont fiables, précisément parce que les données de référence pour une validation globale sont intrinsèquement incomplètes.Ce que la validation demande en pratique
Cinq étapes structurent une évaluation conforme aux bonnes pratiques.Cinq étapes structurent une évaluation conforme aux bonnes pratiques établies.Définir les classes et leurs frontières, en documentant le traitement des cas limites, exigence que l’article consacré à l’IA a détaillée.Concevoir le plan d’échantillonnage, en stratifiant et en dimensionnant chaque strate selon la précision recherchée sur les classes rares.Constituer la référence, avec une source indépendante et une mesure de son propre désaccord.Produire la matrice d’erreur et en dériver les trois mesures d’exactitude ainsi que les surfaces corrigées.Et calculer les intervalles de confiance, un travail sur un dispositif européen ayant employé une méthode par rééchantillonnage plutôt que des formules analytiques, celles-ci reposant sur des hypothèses de normalité que les distributions rencontrées ne vérifient pas toujours.Ce que cela représente comme travail
Cette étape est régulièrement sous-estimée dans un projet d’observation de la Terre.Un dimensionnement mérite d’être posé car cette étape est régulièrement sous-estimée.Le travail se concentre entièrement sur la constitution de la référence, les calculs eux-mêmes étant rapides une fois l’échantillon étiqueté.Trois facteurs déterminent l’ampleur. Le nombre de classes, chacune demandant un effectif suffisant. La rareté des classes d’intérêt, une classe couvrant une faible proportion demandant un échantillonnage disproportionné pour être évaluée correctement. Et la difficulté d’interprétation, certaines distinctions demandant une expertise et un temps d’examen supérieurs.Une observation pratique complète ce tableau. L’effort de validation est largement indépendant de l’étendue cartographiée. Valider une carte régionale et une carte nationale demande un échantillon de taille comparable, ce qui rend cette étape proportionnellement plus coûteuse sur un petit projet et négligeable sur un grand.Cette propriété est utile en discussion commerciale. Elle explique pourquoi un projet ambitieux peut se permettre une validation rigoureuse que le même effort rendrait disproportionnée sur un projet restreint.La validation des produits continus
Cette famille de produits d’observation de la Terre appelle une méthode différente.Elle mérite d’être distinguée des produits catégoriels.Les produits décrits jusqu’ici sont catégoriels : chaque pixel appartient à une classe. D’autres produits sont continus, une biomasse, une température de surface ou une hauteur.Trois différences en découlent. La matrice d’erreur ne s’applique pas, l’évaluation reposant sur des écarts plutôt que sur des confusions. Les mesures employées sont des erreurs moyennes et des biais systématiques, chacune renseignant sur un aspect différent. Et la référence est une mesure plutôt qu’une interprétation, ce qui déplace le travail du photo-interprète vers le relevé de terrain.Une exigence commune subsiste néanmoins. L’écart entre le produit et la référence doit être caractérisé par classe de valeur plutôt que globalement, un produit pouvant être précis dans la plage courante et fortement biaisé aux extrêmes, précisément là où les décisions se prennent.Cette dernière observation vaut d’être retenue. Une estimation de biomasse correcte en moyenne et sous-estimant systématiquement les fortes valeurs produit des conclusions fausses sur les zones à enjeu, difficulté que l’article consacré au climat a signalée à propos des transactions carbone.Ce qu’un acheteur devrait exiger
Six éléments permettent d’apprécier un produit d’observation de la Terre.Six éléments permettent d’apprécier un produit et leur absence est en elle-même une information.La description du plan d’échantillonnage, incluant sa taille et sa stratification.La matrice d’erreur complète, plutôt qu’un chiffre synthétique.Les exactitudes par classe, utilisateur et producteur, plutôt que la seule exactitude globale.Les surfaces corrigées du biais de classification, distinctes des surfaces obtenues par comptage.Les intervalles de confiance associés à chaque mesure.Et l’origine de la référence, avec son propre taux d’erreur lorsqu’il est connu.Ces six éléments constituent le standard que la littérature du domaine recommande depuis plus d’une décennie, et un organisme international de coordination des agences spatiales exige qu’une carte d’occupation du sol soit accompagnée d’une évaluation rigoureuse d’exactitude.Les limites de l’exercice
Une honnêteté s’impose sur ce qu’une validation rigoureuse n’établit pas.Une honnêteté s’impose sur ce qu’une validation rigoureuse n’établit pas.Elle ne porte que sur la zone et la période échantillonnées. Une exactitude mesurée sur une région ne s’étend pas à une autre, limite que l’article consacré à l’IA a documentée.Elle dépend de la nomenclature retenue. Deux produits employant des classes différentes ne sont pas comparables, même si leurs chiffres le paraissent.Elle mesure un accord avec une référence et non une vérité. Le travail cité relève d’ailleurs que l’erreur peut provenir du processus de cartographie, des données employées et des biais de l’analyste.Et elle a un coût, qui peut représenter une part significative d’un projet restreint, ce qui conduit certains à l’omettre et explique l’écart constaté entre méthode et pratique.La validation d’un produit d’observation de la Terre dans le temps
Elle distingue une vérification ponctuelle d’un dispositif durable.Un produit validé une fois ne le reste pas. Trois mécanismes altèrent sa performance.L’évolution des conditions d’acquisition, l’article consacré aux évolutions du standard ayant montré dans un autre domaine qu’un changement de génération instrumentale modifie ce que le modèle reçoit.L’évolution du terrain lui-même, une nomenclature restant valide tandis que les apparences changent, phénomène particulièrement marqué en agriculture où les pratiques évoluent.Et l’évolution de l’usage, un produit employé pour une décision qu’il n’avait pas vocation à éclairer étant évalué sur un critère différent de celui de sa validation initiale.Trois mesures répondent à ces mécanismes. Conserver l’échantillon de référence initial pour permettre une comparaison ultérieure. Prévoir un rééchantillonnage périodique plutôt qu’une validation unique. Et documenter les conditions de la validation initiale, sans lesquelles aucune comparaison n’est possible.Cette troisième mesure rejoint le principe que tous les clusters de cette série ont établi. La documentation produite pendant permet le diagnostic ultérieur ; celle qui manque transforme une dérive mesurable en constat inexpliqué.Les erreurs de lecture fréquentes
- Calculer une surface par comptage de pixels sans correction du biais.
- Retenir l’exactitude globale sans examiner les exactitudes par classe.
- Annoncer une exactitude sans intervalle de confiance.
- Échantillonner proportionnellement aux surfaces plutôt que par strate.
- Sous-dimensionner l’échantillon sur les classes rares.
- Employer comme référence une source dépendante de celle du produit.
- Ignorer le taux d’erreur de la référence elle-même.
- Comparer deux produits employant des nomenclatures différentes.
- Étendre une exactitude mesurée sur une région à une autre.
- Employer des formules analytiques lorsque les distributions ne sont pas normales.
- Caractériser globalement l’écart d’un produit continu plutôt que par plage de valeur.
- Communiquer un résultat de niveau réglementaire après un travail exploratoire.
