Les modèles de segmentation pour l’imagerie satellite

Les architectures employées en segmentation d’images satellites ont connu trois générations en une décennie, et chacune a résolu une difficulté que la précédente laissait ouverte. Comprendre cette progression permet de choisir sans suivre la mode. Cet article retrace cette évolution, expose ce que chaque famille traite et ce qu’aucune ne résout. Il prolonge l’article consacré aux outils de segmentation satellite.

Le problème que ces architectures résolvent

Une tension structure la conception d’un modèle de segmentation d’images satellites. Elle explique la forme de toutes les architectures qui suivent. Reconnaître ce qu’est un objet demande un contexte étendu. Un pixel isolé ne dit rien ; sa signification dépend de son environnement sur une distance parfois considérable. Localiser précisément une limite demande au contraire une information fine, préservée à la résolution originale. Ces deux exigences s’opposent. Élargir le contexte suppose de compresser l’information, ce qui détruit la précision de localisation, et préserver cette précision limite le contexte accessible. Toutes les architectures de ce domaine constituent des réponses à cette tension, et leurs différences tiennent à la façon dont chacune l’arbitre.

La première génération

Les architectures encodeur-décodeur restent largement employées. Elles ont dominé la première moitié de la décennie. Leur principe comporte trois étapes. Un encodeur compresse progressivement l’image en représentations de plus en plus abstraites et de moins en moins résolues. Un décodeur reconstruit ensuite une carte à la résolution d’origine. Et des connexions directes relient les niveaux correspondants des deux branches, transmettant l’information fine que la compression avait perdue. Ces connexions constituent l’innovation décisive. Elles permettent au décodeur de disposer simultanément du contexte que l’encodeur a extrait et du détail que la compression aurait détruit. Trois qualités expliquent leur remarquable persistance. Elles s’entraînent avec des volumes modestes, ce qui convient à un domaine où les corpus sont rares. Elles sont robustes et bien comprises. Et elles supportent facilement un nombre de bandes arbitraire, propriété importante en imagerie satellite. Une limite les caractérise néanmoins. Leur champ réceptif reste borné, ce qui les rend faibles sur les classes définies par un contexte étendu, difficulté que l’article consacré à la nomenclature a signalée pour les catégories fonctionnelles.

La deuxième génération

Les architectures fondées sur l’attention répondent à cette limite. Elles ont marqué la seconde moitié de la décennie. Leur principe consiste à permettre à chaque position de l’image de considérer directement toute autre position, plutôt que de propager l’information de proche en proche. Trois avantages nets en découlent en segmentation d’images satellites. Le contexte étendu devient accessible sans compression, ce qui traite la tension exposée plus haut. Les relations à longue distance sont capturées, utiles pour les classes dont la définition dépend de l’organisation spatiale. Et le transfert entre domaines fonctionne mieux, ces architectures se prêtant bien au pré-entraînement. Trois inconvénients sérieux les accompagnent. Le besoin en données d’entraînement est nettement supérieur, ce qui entre en tension directe avec la rareté des corpus géospatiaux. Le coût de calcul croît fortement avec la taille de l’image, ce qui complique le traitement de grandes scènes. Et l’interprétabilité diminue, ce qui pèse dans les contextes où la méthode doit être justifiée. Une conséquence pratique importante en découle. Ces architectures conviennent à un projet disposant d’un corpus substantiel ou pouvant partir d’un modèle pré-entraîné, et elles sont contre-productives sur un petit corpus spécialisé.

La troisième génération

Les modèles fondationnels géospatiaux constituent le développement actuel. Leur promesse mérite d’être examinée avec précision. Leur principe consiste à pré-entraîner un modèle sur de très grands volumes d’imagerie non annotée, en lui faisant résoudre des tâches artificielles construites à partir des données elles-mêmes, puis à le spécialiser sur une tâche précise avec peu d’exemples annotés. Trois apports sont bien réels. Le volume d’annotation nécessaire à la spécialisation diminue sensiblement. Le pré-entraînement exploite l’abondance d’imagerie non annotée, ressource que l’article consacré à Copernicus a documentée. Et la spécialisation est rapide, ce qui raccourcit le cycle d’un projet. Trois limites sont tout aussi réelles et l’article consacré à l’IA dans la série précédente les a documentées. Le besoin d’évaluation reste entier, une référence annotée demeurant indispensable pour mesurer. Le biais géographique du pré-entraînement se transmet à la spécialisation, ces modèles étant entraînés sur des corpus dont la couverture est inégale. Et la spécialisation demande toujours des exemples, en nombre réduit mais de qualité supérieure. Une lecture équilibrée s’impose sur ce point. Ces modèles déplacent le besoin d’annotation de la quantité vers la qualité, ce qui change la nature du travail sans en supprimer la nécessité.

Le choix d’architecture en pratique

Quatre critères permettent de trancher en segmentation d’images satellites. Ils diffèrent de ceux que la littérature met en avant. Le volume de corpus disponible constitue le premier. Un corpus modeste oriente vers la première génération, un corpus substantiel autorise la deuxième, et un besoin spécialisé sur peu d’exemples oriente vers la troisième. L’étendue du contexte nécessaire constitue le deuxième. Une classe définie localement se traite avec une architecture simple, une classe définie par son environnement demande un champ réceptif étendu. La contrainte de calcul constitue le troisième, un traitement en temps quasi réel ou sur de très grandes surfaces excluant les architectures les plus lourdes. Et l’exigence d’explicabilité constitue le quatrième, un contexte réglementaire ou contractuel pouvant imposer une méthode justifiable, ce que la série précédente a documenté. Une observation traverse ces quatre critères. Aucun ne concerne la performance publiée sur un jeu de référence, ce chiffre étant obtenu dans des conditions qui ne sont pas celles d’un projet particulier.

Ce qui compte davantage que l’architecture

Cette observation contredit une intuition répandue. Elle mérite d’être posée fermement. À corpus égal, l’écart de performance entre deux architectures raisonnables est nettement inférieur à l’écart produit par la qualité du corpus lui-même. Quatre facteurs pèsent davantage que le choix d’architecture. La qualité et la cohérence de l’annotation, que les articles précédents ont détaillée. La représentativité géographique et temporelle du corpus. La définition des classes et le traitement des cas limites. Et la correspondance entre les conditions d’entraînement et les conditions de déploiement. Une conséquence pratique en découle pour un projet de segmentation d’images satellites. Un effort porté sur l’architecture avant que ces quatre facteurs soient traités constitue une optimisation prématurée, et l’ordre inverse produit un meilleur résultat pour un coût inférieur. Cette observation a une portée commerciale. Elle justifie qu’un prestataire de données oriente une discussion technique vers le corpus plutôt que vers le modèle, et cette réorientation sert l’intérêt du client autant que le sien.

Les difficultés propres au géospatial

Cinq contraintes distinguent l’entraînement d’un modèle de segmentation d’images satellites. Elles sont mal traitées par les pratiques standard. Le découpage en imagettes, que l’article d’ouverture a exposé, introduit des artefacts de bordure et une perte de contexte étendu. Le nombre de bandes dépasse trois, ce qui interdit d’employer directement des poids pré-entraînés sur imagerie naturelle et impose une adaptation de la première couche. Le déséquilibre des classes est extrême sur plusieurs classes utiles, ce que les articles consacrés à l’eau et aux réseaux ont détaillé. La séparation entre entraînement et évaluation doit être géographique et non aléatoire, deux imagettes voisines partageant trop d’information pour être placées de part et d’autre. Et l’augmentation de données demande une adaptation, certaines transformations usuelles étant inappropriées, un retournement modifiant l’orientation solaire et une variation de couleur détruisant la signification physique des bandes. Cette dernière contrainte est la plus souvent négligée. Une chaîne d’augmentation reprise d’un projet de vision ordinaire produit des exemples physiquement impossibles, ce qui dégrade l’apprentissage plutôt que de l’enrichir.

Le traitement du contexte étendu

Cette difficulté n’a pas d’équivalent en vision ordinaire. Elle est propre à la segmentation d’images satellites. Une image naturelle contient généralement l’objet entier et son contexte immédiat. Une scène satellite contient des milliers d’objets et un contexte s’étendant sur des kilomètres, que le découpage en imagettes tronque nécessairement. Quatre réponses sont employées et leurs coûts diffèrent sensiblement. Agrandir les imagettes préserve davantage de contexte et augmente fortement le coût de calcul, la relation étant quadratique. Dégrader la résolution d’entrée élargit le contexte à coût constant et sacrifie la précision de localisation, ce qui ramène à la tension initiale. Employer deux échelles simultanément, une vue large dégradée pour le contexte et une vue fine pour le détail, traite la tension au prix d’une architecture plus complexe. Et ajouter des variables contextuelles calculées séparément, position, altitude ou statistiques de voisinage, apporte du contexte sans passer par l’image. Cette dernière réponse est la moins coûteuse et la plus négligée. Une simple variable indiquant la position géographique ou l’altitude améliore sensiblement plusieurs classes en segmentation d’images satellites, et elle ne demande aucune modification d’architecture.

Le transfert et ses limites

Cette pratique répandue a une efficacité très variable. Partir d’un modèle pré-entraîné plutôt que d’une initialisation aléatoire accélère l’apprentissage et réduit le besoin en données. Trois situations bien distinctes se rencontrent. Un pré-entraînement sur imagerie naturelle apporte un gain réel sur les bandes visibles et n’apporte rien aux bandes infrarouges. Un pré-entraînement sur imagerie satellite apporte davantage et il transmet le biais géographique de son corpus. Et un pré-entraînement sur la même zone géographique constitue le cas le plus favorable et il est rarement disponible. Une réserve importante encadre néanmoins cette pratique. Le transfert entre géographies est limité, la recherche l’ayant documenté, ce qui signifie qu’un modèle pré-entraîné sur une région et spécialisé sur une autre conserve une part du biais initial. Une conséquence directe en découle pour un corpus. Constituer des exemples dans la géographie de déploiement compte davantage que d’augmenter le volume dans une autre, observation qui rejoint le constat central de la série précédente.

L’évaluation d’une architecture

Quatre précautions distinguent une comparaison rigoureuse d’une comparaison trompeuse. Comparer sur le même corpus, une différence de données produisant un écart supérieur à celui des architectures. Évaluer sur des zones géographiquement séparées de l’entraînement, faute de quoi la mesure reflète une mémorisation. Rapporter les métriques de bordure à côté des métriques globales, l’article correspondant ayant montré que deux modèles de score identique peuvent produire des contours très différents. Et mesurer le coût de calcul en même temps que la performance, un gain marginal obtenu au prix d’un coût multiplié n’étant pas nécessairement souhaitable. Une observation importante complète ces quatre précautions. La performance publiée sur un jeu de référence public renseigne sur le comportement du modèle dans ces conditions et non sur son comportement dans un projet particulier, distinction que la série précédente a documentée sous le nom d’écart entre performance annoncée et performance réelle.

Ce qu’aucune architecture ne résout

Les progrès architecturaux sont régulièrement présentés comme une réponse universelle. Aucune architecture ne compense une nomenclature mal définie, un modèle apprenant à reproduire l’incohérence qu’on lui montre. Aucune ne compense une référence bruitée, la borne du désaccord inter-annotateurs s’appliquant à tous. Aucune ne comble une information absente, un usage non observable dans l’image ne devenant pas prédictible par une meilleure architecture, ce que l’article consacré à la végétation a montré. Et aucune ne transfère à une géographie non représentée dans son entraînement, limite que la recherche a documentée et que le progrès architectural n’a pas réduite. Ces quatre limites partagent une propriété commune. Elles relèvent toutes de la donnée et de sa définition, ce qui explique que l’effort le plus rentable d’un projet porte sur le corpus plutôt que sur le modèle.

La dimension temporelle

Une partie de la segmentation d’images satellites relève de la série plutôt que de l’image. L’article consacré à la végétation l’a montré. Traiter une série temporelle demande une architecture différente, l’information distinctive résidant dans l’évolution plutôt que dans l’apparence. Trois approches se distinguent. L’empilement des dates comme bandes supplémentaires, simple à mettre en œuvre et supposant un nombre de dates fixe et régulier. Les architectures récurrentes, qui traitent une séquence de longueur variable et gèrent naturellement les manques. Et les architectures d’attention temporelle, qui pondèrent les dates selon leur pertinence et se prêtent bien aux séries irrégulières. Une difficulté domine ces trois approches. Les séries optiques comportent des manques irréguliers dus aux nuages, ce que l’article consacré à la végétation a détaillé, et le traitement de ces manques doit être identique entre l’entraînement et la production sous peine de présenter au modèle une structure inconnue. Une conséquence pratique en découle pour un corpus de segmentation d’images satellites temporelle. L’annotation porte sur une série entière et non sur une date, ce qui change l’unité de travail et impose de documenter les dates disponibles pour chaque exemple.

Les erreurs les plus fréquentes

• Choisir une architecture sur sa performance publiée plutôt que sur les contraintes du projet.
• Employer une architecture gourmande en données sur un corpus modeste.
• Reprendre une chaîne d’augmentation conçue pour l’imagerie naturelle.
• Séparer entraînement et évaluation aléatoirement plutôt que géographiquement.
• Employer des poids pré-entraînés sans adapter la première couche aux bandes disponibles.
• Négliger le déséquilibre des classes dans la fonction de coût.
• Optimiser l’architecture avant d’avoir traité la qualité du corpus.
• Comparer deux architectures sur des corpus différents.
• Attendre d’un modèle fondationnel qu’il supprime le besoin d’évaluation.
• Supposer qu’un modèle pré-entraîné transfère sans biais à une nouvelle géographie.
• Constituer un corpus en petites vignettes pour une architecture à contexte étendu.
• Traiter une série temporelle avec une architecture conçue pour une image unique.

Ce que le choix d’architecture change pour un corpus

Cette lecture inverse intéresse directement un fournisseur de données. L’architecture retenue modifie les exigences portant sur le corpus, ce qui fait de cette question une affaire de données autant que de modélisation. Quatre effets se distinguent. Le volume nécessaire varie fortement, une architecture gourmande demandant plusieurs fois les exemples d’une architecture sobre pour une performance comparable. La distribution des exemples compte davantage sur les architectures à contexte étendu, qui apprennent des relations spatiales et non seulement des apparences locales. La taille des imagettes annotées doit correspondre au champ réceptif visé, un corpus constitué en petites vignettes ne permettant pas d’entraîner une architecture exploitant un contexte large. Et la qualité des frontières prend une importance supérieure sur les architectures préservant la résolution, celles-ci apprenant précisément les contours qu’on leur montre, bruit compris. Une conséquence pratique importante en découle. Établir l’architecture envisagée avant de constituer un corpus évite de produire des données inadaptées, et cette question relève du cadrage conjoint entre le fournisseur de données et l’équipe de modélisation plutôt que de l’une des deux séparément.

Ce que ce panorama enseigne

Cette observation explique une singularité de la segmentation d’images satellites. Les progrès architecturaux de la dernière décennie ont été considérables et leur effet sur les projets réels a été modeste, écart qui demande une explication. Trois raisons le produisent. Les gains publiés sont obtenus sur des corpus de référence dont l’article consacré à l’IA dans la série précédente a documenté le biais, ce qui les rend peu représentatifs des conditions d’un projet. Les architectures les plus performantes exigent des volumes de données que peu de projets géospatiaux possèdent, ce qui les rend inapplicables là où le besoin est le plus fort. Et les difficultés dominantes d’un projet, nomenclature, conventions de frontière et représentativité, sont extérieures à l’architecture et n’ont donc pas bénéficié de ces progrès. Une conséquence en découle pour un prestataire de segmentation d’images satellites. La valeur qu’il apporte se situe précisément là où le progrès technique n’a pas porté, ce qui rend sa position plus stable que ne le suggère le rythme des publications.

Aborder une discussion d’architecture

Un fournisseur de données peut y participer utilement. Quatre questions le lui permettent, sur un sujet de segmentation d’images satellites dont il n’est pas l’acteur principal. Quel volume d’exemples annotés est prévu, question qui détermine quelles architectures sont réalistes et qui relève directement du fournisseur. Quelle taille d’imagette sera employée, information nécessaire pour produire un corpus compatible et rarement communiquée en amont. La séparation entre entraînement et évaluation sera-t-elle géographique, question qui conditionne la façon dont le corpus doit être organisé dès sa constitution. Et quelle chaîne d’augmentation sera appliquée, information qui permet de signaler les transformations inappropriées avant qu’elles ne dégradent l’apprentissage. Ces quatre questions ont une propriété commune. Elles portent sur l’interface entre les données et le modèle, domaine où un fournisseur dispose d’une compétence que l’équipe de modélisation n’a pas toujours, et où une erreur coûte le corpus entier.

La question de la reproductibilité

Une exigence prend de l’importance et elle concerne autant le corpus que le modèle. Reproduire un résultat suppose de retrouver quatre éléments, et l’absence d’un seul rend l’exercice impossible. La version exacte du corpus employée, un corpus corrigé en cours de projet produisant des résultats différents sans qu’aucun changement de modèle soit intervenu. La partition entre entraînement, validation et évaluation, dont la reconstitution aléatoire ne redonne pas la partition d’origine. Les paramètres de préparation, découpage, normalisation et augmentation, dont l’effet est aussi déterminant que celui de l’architecture. Et la version des bibliothèques employées, une mise à jour modifiant parfois un comportement par défaut. Une conséquence pratique en découle pour un projet de segmentation d’images satellites. Ces quatre éléments se consignent pendant le travail et ne se reconstituent pas après, principe que tous les clusters de cette série ont établi à propos de la documentation.

Ce qu’il faut retenir

Les architectures de ce domaine répondent toutes à une même tension, reconnaître un objet demandant un contexte étendu quand localiser sa limite demande une information fine, et leurs différences tiennent à la façon dont chacune l’arbitre. Trois lectures se dégagent. Les trois générations conviennent à des situations différentes, l’encodeur-décodeur à un corpus modeste, l’attention à un corpus substantiel ou un modèle pré-entraîné, et le modèle fondationnel à un besoin spécialisé sur peu d’exemples, ce qui fait du volume de corpus disponible le premier critère de choix. À corpus égal, l’écart entre deux architectures raisonnables est nettement inférieur à celui que produit la qualité du corpus, ce qui rend prématurée toute optimisation d’architecture avant que l’annotation, la représentativité et la définition des classes soient traitées. Et les contraintes géospatiales, découpage en imagettes, bandes multiples, déséquilibre et séparation géographique, sont mal traitées par les pratiques standard, une chaîne d’augmentation reprise de la vision ordinaire produisant des exemples physiquement impossibles. Pour les échecs que ces choix produisent, l’article consacré aux erreurs en segmentation satellite les recense. Pour l’outillage qui les met en œuvre, l’article sur les outils de segmentation dresse le panorama. Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée au traitement de données géospatiales. Et si vous devez constituer un corpus adapté à une architecture donnée, échangeons sur votre projet.