Un annotateur qui parcourt une tuile vide pendant vingt minutes ne produit rien de visible. C’est pourtant là que se joue la qualité d’un corpus géospatial, puisque l’erreur dominante n’est pas un mauvais tracé mais un objet que personne n’a vu.
Cet article expose ces difficultés. Il prolonge l’article consacré à la préparation d’un dataset.
Ce qui distingue les erreurs de ce domaine
Cinq défauts d’annotation se rencontrent en imagerie satellite.
Un objet bien présent et non annoté, invisible dans le livrable.
Un objet annoté qui n’existait tout simplement pas dans la scène.
Une classe attribuée à tort entre deux catégories voisines.
Un contour imprécis tracé sur un objet correctement repéré.
Et une incohérence constatée entre deux tuiles adjacentes.
Une conséquence pratique importante en découle. Le premier défaut domine largement les autres dans ce domaine, un objet omis ne laissant absolument aucune trace dans les données livrées, ce qui le rend indétectable par tout contrôle portant sur ce qui a été produit.
Ce que la petitesse des objets impose
Cinq difficultés accompagnent un objet d’imagerie satellite de quelques pixels.
Sa présence se devine bien plus qu’elle ne se constate.
Son contour ne comporte que très peu de points distincts.
Deux opérateurs le délimitent différemment sans que l’un se trompe.
Le zoom nécessaire réduit d’autant le champ parcouru.
Et la fatigue visuelle s’installe bien plus vite.
Une observation importante en découle pour un projet d’imagerie satellite. La troisième difficulté fausse toute mesure de désaccord, un écart de deux pixels seulement représentant une part considérable d’un petit objet, ce qui produit des taux de divergence élevés sans qu’aucun opérateur ait commis d’erreur.
Ce que le balayage prolongé produit
Cinq effets accompagnent des heures de recherche visuelle.
Le taux de détection décroît régulièrement au fil de la session.
L’attention se relâche d’abord sur les zones les moins denses.
Le seuil de signalement d’un doute s’élève progressivement.
Les objets proches du seuil de visibilité se perdent les premiers.
Et l’opérateur lui-même ne perçoit pas sa propre baisse de régime.
Une conséquence pratique s’ensuit. Le dernier effet interdit de compter sur l’autorégulation, un annotateur fatigué se jugeant tout aussi attentif qu’au début de sa session, ce qui impose une organisation du travail plutôt qu’une consigne de vigilance.
Ce que la rareté des objets change
Quatre effets accompagnent une densité d’objets faible.
Une tuile sur plusieurs ne contient aucun objet à annoter.
La recherche occupe alors l’essentiel du temps de travail.
L’attente d’un objet diminue à mesure que celui-ci tarde.
Et un contrôle par échantillon ne rencontre que peu de cas positifs.
Une observation en découle. Le troisième effet est bien documenté et rarement pris en compte, la probabilité de manquer un objet croissant avec la rareté même de ce que l’on cherche, ce qui rend un tri préalable des tuiles plus efficace qu’une exhortation à la vigilance.
Ce que le contrôle doit chercher ici
Cinq dispositifs d’imagerie satellite détectent des défauts différents.
Une double annotation conduite sur les mêmes tuiles.
Une relecture spécifiquement ciblée sur les zones les plus denses.
Un rapprochement conduit avec une base de référence existante.
Une vérification des raccords menée après le réassemblage.
Et une comparaison des taux de détection obtenus entre opérateurs.
Une conséquence pratique importante en découle. Le premier dispositif est le seul qui révèle les omissions, une relecture simple ne pouvant jamais signaler que ce qui a déjà été annoté, ce qui la rend aveugle au défaut principal de ce domaine.
Ce que l’organisation du travail permet
Cinq mesures d’imagerie satellite agissent sur la fatigue plutôt que sur la consigne.
Des sessions de durée strictement limitée sur ce type de tâche.
Une alternance organisée entre recherche et tracé.
Un tri préalable des tuiles susceptibles de contenir des objets.
Une rotation régulière des zones entre les opérateurs.
Et un rythme de production suivi tout au long de la journée.
Une observation importante en découle pour un projet d’imagerie satellite. Le troisième dispositif produit le gain le plus net, un opérateur travaillant sur des tuiles presque toutes peuplées demeurant attentif bien plus longtemps que celui qui parcourt des étendues vides.
Ce que la double annotation coûte et rapporte
Quatre apports justifient ce dispositif de contrôle en imagerie satellite.
Une estimation du taux d’omission, impossible à obtenir autrement.
Un repérage des classes que deux opérateurs viennent séparer différemment.
Une mesure de la variabilité propre aux petits objets.
Et un signalement des zones précises où la difficulté se concentre.
Une conséquence pratique importante en découle. Ces quatre apports s’obtiennent sur une fraction du corpus plutôt que sur sa totalité, quelques pour cent seulement de tuiles annotées deux fois suffisant à estimer ce qui manque, ce qui rend ce dispositif bien moins coûteux que sa réputation ne le laisse croire.
Ce que la mesure doit refléter
Cinq indicateurs décrivent la qualité d’un corpus d’imagerie satellite.
Le taux d’omission estimé par la double annotation.
L’écart de détection constaté entre opérateurs sur les mêmes zones.
L’évolution du taux de détection observée au fil d’une session.
La cohérence des contours obtenus sur les plus petits objets.
Et le nombre d’incohérences relevées aux raccords de tuiles.
Une conséquence pratique importante en découle. Le troisième indicateur se produit facilement et se demande rarement, une comparaison entre le début et la fin d’une session révélant immédiatement si l’organisation du travail tient compte de la fatigue.
Aborder la qualité sur ce type de projet
Cinq questions cadrent la qualité sur un tel projet d’imagerie satellite.
Le taux d’omission est-il mesuré. Il domine les autres défauts.
Une double annotation existe-t-elle. Rien d’autre ne révèle les absences.
Les tuiles sont-elles triées. La recherche coûte plus que le tracé.
Les sessions sont-elles limitées. La fatigue ne se corrige pas par consigne.
Et le désaccord tient-il compte de la taille. Les petits objets divergent naturellement.
Ces cinq réponses déterminent la fiabilité du corpus. Les poser avant la production évite un contrôle qui valide ce qui existe sans voir ce qui manque.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.
Le défaut principal de ce domaine est une absence.
Trois constats la composent.
Un objet omis ne laisse aucune trace dans les données livrées.
Une relecture simple ne peut signaler que ce qui a été annoté.
Et un annotateur fatigué se juge aussi attentif qu’au début de sa session.
Ce constat prolonge le chapitre précédent, la préparation ayant écarté les défauts techniques sans rien pouvoir contre ceux qui tiennent à l’attention humaine.
Les erreurs les plus fréquentes
- Contrôler la qualité sans jamais mesurer le taux d’omission.
- Compter sur une relecture simple pour détecter les absences.
- Confier des tuiles vides à un opérateur pendant des heures.
- Interpréter un désaccord sur de petits objets comme une erreur.
- Traiter la fatigue par une consigne de vigilance.
- Mesurer la performance sans la ventiler par taille d’objet.
- Négliger la comparaison des taux de détection entre opérateurs.
- Contrôler par échantillon aléatoire malgré une densité faible.
- Ignorer l’évolution du rythme au cours d’une session.
- Vérifier les tuiles isolément sans contrôler les raccords.
Ce que la formation change ici
Cinq acquis distinguent un opérateur d’imagerie satellite formé à ce type de tâche.
Une méthode de balayage systématique plutôt qu’un parcours entièrement libre.
La connaissance des positions où l’objet se rencontre le plus souvent.
Le repérage des indices indirects qui viennent trahir une présence.
L’habitude de signaler un doute plutôt que de le trancher seul.
Et la conscience lucide de sa propre baisse de régime.
Une observation importante en découle pour un projet d’imagerie satellite. Le premier acquis produit le gain le plus mesurable, un parcours méthodique de la tuile relevant nettement plus d’objets qu’un simple examen d’ensemble, ce qui fait d’une consigne de balayage l’un des rares apports de formation dont l’effet se constate dès la première journée.
Ce que la pré-annotation change à la qualité
Quatre effets accompagnent une proposition automatique faite en imagerie satellite.
Le taux d’omission diminue nettement sur les objets bien contrastés.
L’opérateur passe alors du repérage à la simple vérification.
Les objets absents de la proposition se remarquent nettement moins.
Et le doute s’exprime bien plus rarement qu’en annotation libre.
Une conséquence pratique importante en découle. Le troisième effet mérite attention, une proposition automatique orientant aussitôt le regard vers ce qu’elle a déjà trouvé, ce qui réduit une omission sur les cas faciles tout en aggravant celle qui portait déjà sur les cas difficiles.
Trois décisions avant de produire
Trois décisions engagent la qualité d’un projet d’imagerie satellite.
Prévoir une double annotation sur une fraction du corpus, seul moyen d’estimer les omissions.
Trier les tuiles avant de les confier, la recherche coûtant plus cher que le tracé.
Et limiter la durée des sessions, la fatigue ne se corrigeant par aucune consigne.
Ces trois décisions coûtent une réunion et quelques pour cent de volume, elles précèdent la production, et leur absence produit un contrôle qui valide ce qui existe sans voir ce qui manque.
Ce que le taux d’omission révèle
Cinq lectures découlent d’une omission mesurée en imagerie satellite.
Sa valeur absolue, bien rarement aussi basse qu’on l’imagine.
Sa répartition par taille d’objet, presque toujours très inégale.
Son évolution constatée au fil d’une session de travail.
Son écart constaté entre opérateurs sur les mêmes zones.
Et sa concentration sur certains types de contexte visuel.
Une observation importante en découle pour un projet d’imagerie satellite. La deuxième lecture oriente utilement l’effort, une omission concentrée sur les plus petits objets appelant soit une résolution supérieure soit un abandon assumé de cette classe, alors qu’une omission uniforme désigne un problème de méthode ou d’organisation.
La question qui cadre le contrôle
Une question détermine le dispositif à mettre en place en imagerie satellite.
Ce qui compte le plus est-il de ne rien manquer ou de bien tracer.
Ne rien manquer, inventaire, dénombrement ou surveillance, impose une double annotation, un tri des tuiles et des sessions courtes, la géométrie important peu.
Bien tracer, calcul de surface ou mise à jour cadastrale, impose une convention écrite et un contrôle des contours, l’exhaustivité important moins que l’exactitude.
Cette question relève de l’usage du corpus et non du domaine, elle se pose avant la production, et elle sépare deux dispositifs de contrôle dont ni le coût ni la nature n’ont de commune mesure.
Trois vérifications sur un dispositif qualité
Trois contrôles qualifient une démarche qualité en imagerie satellite.
L’existence d’une double annotation, même sur une faible fraction du corpus.
La ventilation des mesures par taille d’objet plutôt qu’en valeur globale.
Et le suivi du rythme de détection au cours d’une session de travail.
Ces trois contrôles se posent en une question chacun, ils ne demandent aucun outil particulier, et leur absence indique un dispositif aveugle au défaut principal de ce domaine.
Ce que le prestataire apporte ici
Quatre apports distinguent une prestation menée sérieusement en imagerie satellite.
Une double annotation prévue dès le dispositif plutôt qu’ajoutée après coup.
Un tri des tuiles conduit avant même de les confier aux opérateurs.
Une organisation du travail qui tient réellement compte de la fatigue.
Et des mesures ventilées par taille d’objet au sein du rapport de qualité.
Une conséquence pratique importante en découle. Le premier apport se remarque au devis et se justifie mal sans explication, une double annotation ajoutant seulement quelques pour cent au volume facturé, ce qui rend nécessaire d’expliquer au client que ce surcoût achète la seule mesure de ce qui manque.
Ce que ce chapitre laisse au suivant
Certains projets ajoutent des contraintes que la qualité seule ne couvre pas.
Trois questions restent ouvertes en imagerie satellite.
Ce qu’un contexte réglementé impose au dispositif d’annotation.
Comment tracer qui a accédé à quelle image et quand.
Et ce que la confidentialité change au choix d’un prestataire.
Ces trois questions relèvent des contextes de défense, qui constituent l’objet du chapitre suivant.
Ce que la nature de la scène ajoute
Cinq contextes rendent la recherche visuelle plus difficile.
Un fond dont la texture ressemble fortement à celle de l’objet.
Une scène très encombrée dans laquelle l’objet se noie.
Une zone d’ombre portée qui abaisse le contraste local.
Une image dont la teinte générale demeure peu contrastée.
Et un objet partiellement masqué par un élément immédiatement voisin.
Une observation importante en découle pour un projet d’imagerie satellite. Le premier contexte produit l’omission la plus systématique, un objet dont la texture rejoint exactement celle du fond disparaissant pour tous les opérateurs plutôt que pour un seul d’entre eux, ce qui le rend invisible même à une double annotation.
Ce que le premier lot doit établir
Quatre résultats justifient un lot d’essai avant la production.
Le taux d’omission estimé à partir d’une double annotation restreinte.
La proportion de tuiles ne contenant aucun objet sur le territoire traité.
La durée exacte au-delà de laquelle le rythme de détection décroît.
Et le désaccord effectivement observé sur les plus petits objets du corpus.
Une conséquence pratique importante en découle pour un projet d’imagerie satellite. Le deuxième résultat décide de l’organisation à mettre en place, une proportion élevée de tuiles entièrement vides justifiant un tri automatique préalable, alors qu’un territoire densément peuplé rend ce dispositif inutile et permet de concentrer l’effort sur la relecture.
Ce que ce chapitre partage avec les erreurs d’annotation
Quatre constats se retrouvent quel que soit le domaine annoté.
L’ordre de gravité des erreurs demeure l’inverse exact de leur visibilité.
Un relecteur partageant les biais des opérateurs confirme le corpus sans l’éprouver.
Le signalement d’un doute se raréfie quand il ralentit la production.
Et le taux de désaccord non conservé reste irreconstituable après coup.
Une observation importante en découle pour un projet d’imagerie satellite. Ces quatre constats valent hors du géospatial, ce que le domaine ajoute étant seulement l’ampleur du premier, une omission y devenant le défaut dominant plutôt qu’une catégorie d’erreur parmi d’autres.
Ce que le client doit demander à un prestataire
Quatre questions révèlent une pratique sérieuse en imagerie satellite.
Comment il estime précisément ce que ses opérateurs n’ont pas vu.
Quelle durée maximale de session il retient sur ce type de tâche.
S’il ventile ses mesures de qualité par taille d’objet.
Et ce qu’il fait concrètement des tuiles ne contenant aucun objet.
Une observation importante en découle pour un projet d’imagerie satellite. La première question départage immédiatement, un prestataire répondant simplement qu’il relit son travail n’ayant pas compris que la relecture demeure aveugle aux absences, alors qu’une réponse mentionnant une double annotation même partielle indique une compréhension du défaut dominant.
Ce que l’outil de travail change ici
Cinq caractéristiques de l’interface pèsent sur le taux d’omission.
La fluidité du déplacement à l’intérieur d’une tuile de grande taille.
La possibilité de marquer une zone comme déjà parcourue.
La rapidité du passage d’un niveau de zoom vers un autre.
L’accès immédiat aux tuiles voisines pour les objets de bord.
Et un moyen simple de signaler un doute sans avoir à quitter la tuile.
Une conséquence pratique importante en découle pour un projet d’imagerie satellite. La deuxième caractéristique agit directement sur le défaut dominant, un opérateur incapable de savoir ce qu’il a déjà examiné revenant sur certaines zones et en oubliant purement d’autres, ce qui produit une omission d’origine purement organisationnelle.
Trois erreurs propres à ce domaine
Trois défauts d’imagerie satellite tiennent à la recherche visuelle elle-même.
Une omission qui ne laisse absolument aucune trace dans les données livrées.
Une baisse de vigilance que l’opérateur concerné ne perçoit pas lui-même.
Et un désaccord portant sur de petits objets, pris à tort pour une erreur.
Ces trois défauts échappent au contrôle habituel, ils se traitent par l’organisation plutôt que par la relecture, et leur point commun est de porter sur le regard de l’opérateur plutôt que sur son geste.
Ce que le corpus doit contenir pour être éprouvé
Cinq éléments rendent un corpus d’imagerie satellite vérifiable.
Une fraction du corpus annotée deux fois par des opérateurs différents.
Des tuiles couvrant délibérément les contextes visuels les plus difficiles.
Des zones contiguës permettant de contrôler les raccords.
Un échantillon rapproché d’une base de référence externe.
Et la conservation durable des mesures de désaccord obtenues.
Une observation importante en découle pour un projet d’imagerie satellite. Le dernier élément se perd presque toujours à la clôture d’un projet, un taux de désaccord qui n’a pas été consigné devenant impossible à reconstituer ensuite, ce qui prive le corpus de la seule information qui aurait permis d’en juger la fiabilité des années plus tard.
Ce que ce chapitre change à la relation client
Trois conséquences suivent l’adoption de ces dispositifs.
Le devis comporte une ligne que les concurrents n’ont pas.
Le rapport de qualité annonce un taux d’omission plutôt que de le taire.
Et la conversation porte sur ce qui manque plutôt que sur ce qui est produit.
Une observation importante en découle pour un projet d’imagerie satellite. La deuxième conséquence inquiète à tort, un prestataire annonçant un taux d’omission mesuré paraissant moins performant qu’un concurrent qui n’en mesure aucun, alors qu’il est le seul des deux à savoir ce qu’il livre.
Ce qu’il faut retenir
La qualité géospatiale se joue sur ce qui manque plutôt que sur ce qui est produit.
Trois lectures se dégagent. Un objet omis ne laisse aucune trace dans les données livrées, ce qui le rend indétectable par tout contrôle portant sur ce qui a été produit et fait de la double annotation le seul dispositif qui révèle ce défaut. Un annotateur fatigué se juge aussi attentif qu’au début de sa session, ce qui interdit de compter sur l’autorégulation et impose d’agir sur l’organisation du travail plutôt que sur la consigne. Et un écart de deux pixels représente une part considérable d’un petit objet, ce qui produit des taux de divergence élevés sans qu’aucun opérateur ait commis d’erreur et rend toute mesure de désaccord trompeuse si elle n’est pas ventilée par taille.
Pour l’économie du projet, l’article consacré au coût de l’annotation satellite détaille les postes. Pour les contextes réglementés, l’article sur l’annotation en contexte de défense l’expose.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation pour le géospatial. Et si vous préparez un projet géospatial, échangeons sur votre besoin.
