Un corpus de segmentation ne se dimensionne pas en nombre d’images. Ce qui détermine ce qu’un système saura faire, c’est l’éventail des conditions que le corpus couvre, et cet éventail se décide avant la première annotation.
Cet article expose cette conception. Il prolonge l’article consacré à la
segmentation des petits objets.
Ce qui définit un corpus
Cinq décisions caractérisent un corpus de segmentation d’images.
La formulation retenue, qui détermine ce que le corpus permet d’apprendre.
La nomenclature, dont la granularité fixe la finesse du résultat.
La couverture, qui borne le domaine d’emploi du système.
Les conventions de tracé, qui déterminent la cohérence interne.
Et la séparation entre les jeux, qui conditionne à elle seule la validité de toute mesure.
Une conséquence pratique importante en découle. Ces cinq décisions précèdent la première image, et aucune ne se corrige sans reprendre une part substantielle du corpus déjà produit.
Les axes de couverture
Cinq axes structurent la diversité d’un corpus de segmentation d’images.
Les conditions d’acquisition, éclairage, météorologie et réglages.
Les configurations de scène, densité, encombrement et occlusion.
Les échelles, du plan rapproché à la vue lointaine.
Les sites ou les sources, un même type de scène variant selon le lieu.
Et les configurations rares, précisément celles où le système échouera.
Une observation importante en découle pour un projet de segmentation d’images. Le dernier axe est le plus déterminant et le plus difficile à couvrir, les défaillances portant précisément sur ce que le corpus n’a jamais présenté.
Pourquoi le volume ne suffit pas
Trois observations expliquent qu’un corpus volumineux puisse être faible.
Des images issues d’une même séance se ressemblent au point d’apporter peu.
Une distribution naturelle sous-représente précisément les cas difficiles.
Et un volume important sur un domaine étroit ne prépare à rien qui en sorte.
Une conséquence pratique s’ensuit. Ces trois observations font qu’un corpus se dimensionne par sa couverture plutôt que par son effectif, un lot restreint mais diversifié valant mieux qu’un lot important et homogène.
La séparation des jeux
Une règle gouverne la validité de toute mesure en segmentation d’images.
Trois principes composent cette règle en segmentation d’images.
La séparation se fait par source, site ou séance, jamais par image.
Deux images d’une même acquisition ne doivent pas se retrouver de part et d’autre.
Et la composition du jeu d’évaluation se décide selon ce qu’il doit mesurer, jamais par tirage aléatoire.
Une observation importante en découle. Le premier principe est le plus violé, une séparation aléatoire par image produisant une performance surestimée qu’aucune mise en service ne confirmera.
Ce que le jeu d’évaluation exige
Quatre différences le distinguent du jeu d’entraînement.
L’exhaustivité devient impérative, une région omise comptant comme fausse détection.
La double annotation s’impose sur les classes à forte variabilité.
La composition couvre délibérément les cas difficiles plutôt que la distribution naturelle.
Et la stabilité dans le temps conditionne toute comparaison entre deux versions successives.
Une conséquence pratique importante en découle pour un projet de segmentation d’images. La troisième différence est la plus mal comprise, un jeu représentatif de la fréquence des situations mesurant surtout le facile et laissant invisible ce qui posera problème.
Concevoir la nomenclature
Cinq principes gouvernent cette conception en segmentation d’images.
Reprendre un référentiel existant lorsque le domaine en possède un.
Définir chaque classe par un critère observable dans l’image.
Vérifier que deux classes voisines se distinguent à la résolution disponible.
Prévoir une classe pour l’indéterminé, en lui donnant un sens explicite.
Et éprouver la liste complète sur des images réelles du projet avant de la figer.
Une observation en découle. Le troisième principe évite le défaut le plus coûteux, une distinction impossible à opérer produisant une variabilité que ni la formation ni le contrôle ne réduiront.
La constitution progressive
Quatre étapes organisent la construction progressive d’un corpus de segmentation d’images.
Un lot pilote qui éprouve les conventions retenues et mesure la cadence réelle.
Un premier lot de production couvrant l’ensemble des conditions principales.
Une évaluation intermédiaire qui identifie précisément les faiblesses du système.
Et des lots d’enrichissement ciblés précisément sur ces faiblesses.
Une conséquence pratique importante en découle. La quatrième étape est bien plus efficace qu’un accroissement uniforme, un lot ciblé sur les échecs constatés améliorant davantage qu’un volume équivalent tiré au hasard.
Récupérer les configurations rares
Trois méthodes permettent d’atteindre ce que la collecte ordinaire ne rencontre pas.
La collecte prolongée, qui finit par les croiser au prix d’un temps considérable.
La mise en scène, praticable pour certaines situations et impossible pour d’autres.
Et la sollicitation d’un modèle existant, dont les détections incertaines localisent les scènes atypiques au sein d’un fonds déjà collecté.
Une observation importante en découle pour un projet de segmentation d’images. La troisième méthode est la plus efficace et la moins employée, un fonds non annoté contenant déjà les cas qu’une collecte supplémentaire chercherait, ce qui déplace le problème vers la sélection.
Le plan d’échantillonnage
Une méthode remplace le tirage au hasard par une composition décidée.
Quatre étapes composent ce plan en segmentation d’images.
Recenser les axes de couverture pertinents pour le domaine d’emploi visé.
Fixer une proportion cible par combinaison d’axes, en s’appuyant sur l’usage plutôt que sur ce qui a été collecté.
Sélectionner les images en respectant ces proportions plutôt qu’en tirant dans le fonds.
Et vérifier la composition effectivement obtenue avant de lancer la moindre annotation.
Une conséquence pratique importante en découle. La deuxième étape est celle qui distingue, une proportion fondée sur la fréquence naturelle reproduisant le déséquilibre du terrain alors qu’une proportion fondée sur l’usage sur-représente délibérément les conditions difficiles.
Ce que le corpus doit déclarer
Six informations accompagnent un corpus de segmentation d’images livré.
La formulation et la nomenclature avec leurs définitions.
Les conventions de tracé, règle de placement et seuil de taille.
La répartition par condition et par site.
La méthode de séparation entre les jeux.
Le désaccord mesuré entre annotateurs.
Et la liste explicite des configurations non couvertes.
Une conséquence pratique s’ensuit. La dernière information est la plus rare et la plus utile, elle borne explicitement le domaine d’emploi et évite qu’un système soit déployé là où rien ne l’a préparé.
Ce qui fait vieillir un corpus
Quatre évolutions dégradent sa valeur avec le temps.
Un changement de capteur, qui modifie l’apparence sans changer les objets.
Une évolution du terrain, nouveaux équipements ou nouvelles pratiques.
Un changement d’usage, qui demande une granularité que le corpus n’a pas.
Et une évolution de la nomenclature de référence retenue dans le domaine.
Une observation en découle. Ces quatre évolutions se traitent par enrichissement lorsque les sources et les conventions ont été conservées, et par reconstruction dans le cas contraire.
Aborder la conception d’un corpus
Cinq questions cadrent la conception d’un corpus de segmentation d’images.
Quel domaine d’emploi le système doit-il couvrir. Cette réponse détermine la diversité requise.
Quelle formulation l’usage exige-t-il. Elle borne ce que le corpus permettra.
La séparation se fait-elle par source. Une séparation par image invalide la mesure.
Le jeu d’évaluation couvre-t-il les cas difficiles. Sinon il mesure le facile.
Et un enrichissement est-il prévu dès la conception. Son absence fige le corpus à son premier périmètre.
Ces cinq réponses déterminent ce que le corpus permettra. Les poser avant de commencer évite un corpus volumineux qui ne prépare qu’aux situations déjà maîtrisées.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.
Un corpus se conçoit par sa couverture plutôt que par son volume.
Trois constats la composent.
Les défaillances portent sur ce que le corpus n’a jamais présenté, ce qui fait des configurations rares l’axe déterminant.
La séparation par source est la condition de toute mesure valide, une séparation par image surestimant la performance.
Et l’enrichissement ciblé sur les échecs réellement constatés améliore davantage qu’un accroissement uniforme.
Ce constat prolonge les chapitres précédents, la conception pesant davantage que l’exécution sur ce que le corpus permettra.
Les erreurs les plus fréquentes
- Dimensionner un corpus en nombre d’images.
- Séparer les jeux par image plutôt que par source.
- Constituer un jeu d’évaluation représentatif de la fréquence naturelle.
- Omettre les configurations rares du plan de collecte.
- Figer une nomenclature sans l’éprouver sur des images réelles.
- Créer deux classes indistinguables à la résolution disponible.
- Accroître le corpus uniformément plutôt que cibler les échecs.
- Négliger la déclaration des configurations non couvertes.
- Supposer qu’un volume important compense une couverture étroite.
- Ne pas prévoir l’enrichissement dès la conception.
Le corpus comme actif
Cinq propriétés déterminent si un corpus de segmentation d’images se réutilise.
La conservation des images sources en résolution d’origine.
La conservation de la représentation vectorielle lorsqu’elle existe.
Les conventions écrites et datées, qui rendent chaque lot interprétable.
Les métadonnées de condition et de source, sans lesquelles aucune analyse de couverture n’est envisageable.
Et la table de classes figée dès le départ, qui rend possible toute fusion ultérieure.
Une observation importante en découle. La quatrième propriété est la plus souvent omise et celle qui conditionne l’enrichissement, un corpus sans métadonnée de condition ne permettant pas d’identifier ce qui lui manque.
Le cycle d’enrichissement
Quatre étapes organisent l’amélioration d’un corpus après la première mise en service.
Le relevé des cas où le système échoue, qui suppose un dispositif de collecte prévu en amont.
Le classement de ces échecs par cause, condition non couverte, classe ambiguë ou convention mal appliquée.
La sélection ciblée d’images présentant précisément la cause dominante.
Et l’annotation de ce nouveau lot avec les conventions existantes plutôt qu’avec des règles nouvelles.
Une conséquence pratique importante en découle pour un projet de segmentation d’images. La deuxième étape évite l’erreur la plus fréquente de ce cycle, un échec attribué à un manque de données alors qu’il provient d’une classe mal définie, ce qui conduit à annoter davantage sans corriger la cause.
Ce que la fusion de corpus permet
Une pratique élargit la couverture sans annoter davantage.
Un corpus existant, public ou issu d’un autre projet, complète une couverture insuffisante.
Quatre conditions rendent cette fusion possible en segmentation d’images.
Des formulations identiques, un corpus sémantique et un corpus d’instances ne se fusionnant pas directement.
Des tables de classes rapprochées, identifiant par identifiant.
Des conventions de placement compatibles, ce qui se vérifie sur les distributions de surface.
Et des seuils de taille homogènes entre les deux, faute de quoi une part du corpus ignore ce que l’autre annote.
Une observation en découle. La troisième condition est la plus difficile à vérifier et la plus déterminante, un décalage systématique entre deux corpus fusionnés introduisant une incohérence que le modèle apprendra comme du bruit.
Mesurer la couverture
Quatre indicateurs qualifient la diversité réelle d’un corpus de segmentation d’images.
La répartition par condition d’acquisition, dont un déséquilibre annonce une défaillance ciblée.
Le nombre de sources ou de sites distincts, qui borne la généralisation.
Les effectifs par classe, qui révèlent les catégories trop rares pour être apprises.
Et la proportion de configurations difficiles, qu’elle soit délibérément sur-représentée ou non.
Une conséquence pratique s’ensuit. Le deuxième indicateur prédit mieux la généralisation que le nombre d’images, un corpus important issu d’un site unique préparant moins bien qu’un corpus modeste issu de plusieurs.
Ce que le premier corpus doit viser
Quatre principes gouvernent un premier corpus de segmentation d’images.
Couvrir largement plutôt que profondément, la diversité important davantage que l’effectif par condition.
Retenir la nomenclature la plus simple qui serve l’usage, l’enrichissement restant possible.
Constituer le jeu d’évaluation dès le départ, puisqu’il conditionne toute mesure ultérieure.
Et conserver les sources et les métadonnées associées, qui rendent l’enrichissement praticable.
Une observation en découle. Le premier principe contredit l’instinct, un commanditaire préférant spontanément un volume important sur les conditions qu’il maîtrise alors que la valeur se situe dans les conditions qu’il ne maîtrise pas encore.
Ce que le prestataire apporte à la conception
Cinq contributions dépassent la production en segmentation d’images.
Le recensement des axes de couverture pertinents pour le domaine visé.
La vérification que la nomenclature est opérable à la résolution disponible.
La mesure du désaccord entre annotateurs, qui borne l’exigence contractuelle.
La conception du plan d’échantillonnage à partir du domaine d’emploi.
Et l’organisation de l’enrichissement, prévue bien avant la première livraison.
Une conséquence commerciale en découle. La deuxième contribution distingue le plus, un client découvrant fréquemment que deux de ses classes ne se distinguent pas à la résolution de ses images, information qu’aucun devis au volume ne lui aurait apportée.
La question qui dimensionne le corpus
Une question détermine la taille et la composition mieux qu’un objectif chiffré.
Dans quelles conditions le système devra-t-il fonctionner sans supervision.
Une réponse restrictive, un site unique et des conditions maîtrisées, autorise un corpus modeste couvrant solidement ce domaine étroit.
Une réponse ouverte, plusieurs sites et toutes conditions, impose une campagne dont la diversité prime sur le volume et qui couvre délibérément les cas rares.
Cette question relève de la définition du produit et non de l’annotation, elle se pose au responsable du système plutôt qu’à l’acheteur du corpus, et elle prédit le budget mieux que le nombre d’images demandé.
Trois décisions avant la première image
Trois décisions engagent ce qu’un corpus de segmentation d’images permettra.
Arrêter le domaine d’emploi visé, qui détermine la diversité requise davantage que le volume.
Fixer la méthode de séparation par source, puisqu’une séparation par image invalide toute mesure ultérieure.
Et constituer le jeu d’évaluation en couvrant délibérément les cas difficiles, avant que la production ne l’absorbe.
Ces trois décisions coûtent une réunion, elles précèdent la première image, et leur absence produit un corpus volumineux dont personne ne peut établir ce qu’il prépare réellement.
Ce que le lot pilote apporte à la conception
Quatre informations sortent d’un lot pilote et servent la conception plutôt que la production.
La faisabilité de la nomenclature, les cas d’hésitation révélant les classes mal séparées.
Le désaccord entre annotateurs, qui borne l’exigence contractuelle.
La cadence par type de contour, qui transforme un plan d’échantillonnage en budget.
Et la liste des configurations non prévues, qui enrichit le référentiel avant le début de la production.
Une observation en découle pour un projet de segmentation d’images. La quatrième information est la plus précieuse et la moins attendue, quelques images réelles faisant apparaître des situations qu’aucune réunion de cadrage n’aurait envisagées.
Les corpus publics et leur usage
Quatre observations situent ces ressources en segmentation d’images.
Ils apportent un volume important sur des classes courantes et généralement bien documentées.
Leurs conventions diffèrent des vôtres, ce qui interdit toute fusion sans vérification préalable.
Leur couverture reflète un domaine d’emploi qui n’est pas le vôtre.
Et leur licence conditionne directement l’usage commercial du système entraîné.
Une conséquence pratique s’ensuit. La troisième observation est la plus déterminante, un corpus public servant utilement de base générale et ne dispensant jamais d’un corpus propre couvrant les conditions réelles d’exploitation.
Ce qui distingue un corpus utile
Cinq propriétés séparent un corpus qui sert d’un corpus qui existe.
Il couvre le domaine d’emploi réellement visé plutôt que celui qui était simplement accessible.
Il sur-représente délibérément les conditions dans lesquelles le système échouera.
Sa séparation entre les jeux permet une mesure que la mise en service confirmera.
Ses conventions sont écrites, ce qui rend chaque lot interprétable et fusionnable.
Et son enrichissement avait été prévu avant même la première livraison.
Une observation en découle pour un projet de segmentation d’images. Ces cinq propriétés relèvent toutes de la conception et aucune de l’exécution, ce qui explique qu’un corpus soigneusement annoté puisse ne préparer à rien d’utile.
Ce que la conception coûte et rapporte
Quatre observations situent l’effort de conception en segmentation d’images.
Il occupe quelques jours face à des mois de production.
Il détermine ce que le corpus permettra, ce que l’exécution ne peut plus corriger.
Il évite les corrections les plus coûteuses, celles qui imposent de reprendre l’existant.
Et il produit d’emblée les documents que l’exploitation ultérieure exigera de toute façon.
Une conséquence pratique importante en découle. La deuxième observation résume le chapitre, une exécution irréprochable sur un corpus mal conçu produisant un résultat soigné qui ne sert pas, alors qu’une exécution correcte sur un corpus bien conçu produit un résultat exploitable.
Ce que ce chapitre laisse au suivant
Les décisions exposées ici supposent un contexte stable.
Trois évolutions le remettent en question.
L’assistance progresse et modifie la répartition entre production et vérification.
Les modèles généralistes réduisent le volume nécessaire sur les classes courantes.
Et les usages se déplacent vers des tâches que la segmentation seule ne suffit plus à décrire.
Ces trois évolutions modifient ce qu’un corpus de segmentation d’images devra contenir, et elles constituent l’objet du chapitre suivant, qui clôt cette série.
Trois vérifications sur un corpus existant
Trois contrôles qualifient un corpus de segmentation d’images avant de l’exploiter.
La répartition par source et par condition, qui révèle une couverture étroite qu’aucun effectif ne compense.
La méthode de séparation entre les jeux, qui décide si les mesures publiées ont un sens.
Et les effectifs par classe, qui identifient les catégories bien trop rares pour être apprises.
Ces trois vérifications s’exécutent sur les métadonnées d’un corpus livré, elles ne demandent aucune inspection d’annotation, et elles disent en quelques minutes ce que le corpus prépare réellement.
Ce qu’il faut retenir
Un corpus de segmentation se dimensionne par sa couverture plutôt que par son effectif.
Trois lectures se dégagent. Les défaillances d’un système portent sur ce que le corpus ne lui a jamais présenté, ce qui fait des configurations rares l’axe le plus déterminant et le plus difficile à couvrir. La séparation entre les jeux doit se faire par source ou par séance et jamais par image, faute de quoi la performance mesurée surestime ce qu’une mise en service confirmera. Et un lot d’enrichissement ciblé sur les échecs constatés améliore davantage qu’un volume équivalent tiré au hasard.
Pour ce que les prochaines années changeront à ce travail, l’article consacré à l’
avenir de l’annotation dense l’expose. Pour le cadre général, le
guide de la segmentation d’images pose le panorama.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous concevez un corpus de segmentation,
échangeons sur votre projet.
