Segmentation sémantique ou segmentation d’instances – comment choisir

Le guide consacré à la segmentation d’images a posé le principe qui départage ses trois formes : l’usage précède la méthode, et aucune n’est supérieure aux autres dans l’absolu. Cet article applique ce principe aux deux formes que les cahiers des charges confondent le plus souvent, la segmentation sémantique et la segmentation d’instances, et il fournit les critères qui permettent de trancher au cadrage plutôt que de le découvrir après livraison. La confusion a une cause précise. Les deux formes produisent des masques qui se ressemblent visuellement sur une image simple, et l’écart entre elles ne devient visible que sur les cas qui font l’objet de cette série depuis le premier article : les objets qui se touchent, les régions sans bord franc, les scènes denses. C’est précisément sur ces cas qu’un mauvais choix de segmentation d’images coûte le plus cher.

Quatre critères suffisent à trancher un projet de segmentation d’images

La décision entre segmentation sémantique et segmentation d’instances se prend en réunion de cadrage, avant tout devis de segmentation d’images, à partir de quatre critères. Ils se posent dans un ordre précis, parce que les premiers rendent souvent les suivants inutiles. Le premier critère est la dénombrabilité. Un objet est dénombrable quand il a un contour propre et un compte a du sens : un véhicule, un fruit, une cellule. Une région n’est pas dénombrable quand elle n’a pas de limite naturelle et qu’il n’y a rien à compter : une route, un ciel, un tas de gravier. Ce critère élimine à lui seul une grande partie des cas. Le deuxième critère est la nature de l’usage aval. Un modèle qui doit compter, suivre un objet dans le temps ou calculer une propriété par objet a besoin d’instances. Un modèle qui doit comprendre la composition générale d’une scène ou calculer une proportion de surface se satisfait du sémantique. Ce critère prime sur l’intuition visuelle : une scène qui semble complexe peut relever du sémantique si personne n’a besoin de distinguer ses objets un par un. Le troisième critère est la fréquence des contacts entre objets de même classe. Si les objets visés se touchent ou se chevauchent rarement, le sémantique suffit à les distinguer indirectement, par la forme des régions connexes. S’ils se touchent fréquemment, seul l’instance permet de les séparer, parce que le sémantique fusionne alors deux objets voisins en une seule région. Le quatrième critère est le budget de temps disponible par rapport au volume. L’instance coûte plus cher à annoter à surface égale, parce qu’elle impose de trancher chaque contact. Un volume important avec un budget serré pousse vers le sémantique quand l’usage le permet, jamais quand il ne le permet pas. Une conséquence pratique s’ensuit. Ces quatre critères se répondent dans l’ordre, et un projet de segmentation d’images qui commence par le budget avant d’avoir répondu à l’usage aval inverse la décision : il choisit une forme moins chère qui ne sert à rien, ce qui coûte plus que la forme correcte dès la première livraison jugée inexploitable.

Le critère qui domine tous les autres : l’usage aval

Parmi les quatre critères, l’usage aval tranche à lui seul la majorité des cas ambigus, et il mérite d’être détaillé au-delà de sa simple énumération. Un projet de phénotypage végétal qui mesure la surface foliaire par plant a besoin de savoir où commence et où finit chaque plant, y compris quand deux plants voisins se touchent : c’est un usage d’instance par nature, quand bien même chaque plant appartient à la même classe. À l’inverse, un projet qui mesure la proportion de couvert végétal sur une parcelle entière n’a besoin d’aucune distinction entre plants individuels : la même image sert deux usages qui appellent deux formes opposées. Cette opposition reprend celle qu’un projet de convoyeur logistique a rencontrée d’une autre manière, comme le guide général de la série l’a montré : la question n’était pas la forme de segmentation mais le traitement de l’occlusion, et elle s’est réglée par un attribut de recouvrement plutôt que par une reconstitution complète. Le cas présent est structurellement identique : ce n’est jamais la difficulté visuelle de la scène qui fixe la forme, c’est ce que le modèle final doit produire en sortie. Une conséquence commerciale en découle pour un prestataire. Demander à un client ce que son modèle doit produire, plutôt que de lui demander à quoi ressemblent ses images, est la question qui évite le plus d’annotation refaite. Un cahier des charges qui décrit uniquement le contenu visuel des images sans préciser l’usage du modèle en aval ne permet pas encore de chiffrer un projet de segmentation d’images.

Vérifier le choix sur un pilote de segmentation d’images

Un choix fondé sur les quatre critères précédents reste une hypothèse tant qu’il n’a pas été confronté à un échantillon réel. Le pilote sert exactement à cela, et deux vérifications suffisent à confirmer ou infirmer la forme retenue avant d’engager un volume. La première consiste à mesurer, sur l’échantillon du pilote, la proportion réelle d’objets en contact. Un cahier des charges peut décrire une scène comme dégagée alors que l’échantillon montre une densité de contacts qui justifierait des instances, ou l’inverse. Cette mesure objective remplace une impression par un chiffre, dans la même logique que les séries précédentes ont appliquée à d’autres domaines. La seconde consiste à faire annoter le même échantillon dans les deux formes par deux annotateurs différents et à comparer le temps effectif. L’écart mesuré sur le pilote est plus fiable que toute estimation a priori, parce qu’il intègre la complexité réelle des contours présents dans les images du client, qu’aucun cahier des charges ne décrit avec cette précision. Une observation importante en découle pour un projet de segmentation d’images dont le volume dépasse quelques milliers d’images. Le coût d’un pilote qui teste les deux formes sur un échantillon représentatif est marginal comparé au coût d’un changement de forme après plusieurs milliers d’images déjà annotées dans la mauvaise forme, ce que la section suivante détaille.

Ce que ce choix change pour un projet de segmentation d’images

Une fois la forme choisie, elle détermine trois aspects concrets de la production que le cadrage doit anticiper. Le traitement du contact entre objets change de nature. En sémantique, deux objets voisins de même classe ne posent aucune question : ils forment une seule région, et l’annotateur ne prend aucune décision à leur sujet. En instances, chaque contact devient une décision de frontière, avec les mêmes conventions que celles exposées dans le guide général, mais appliquées à chaque paire d’objets adjacents plutôt qu’une seule fois par image. La vitesse d’annotation par image cesse d’être comparable entre les deux formes. Une image dense en instances qui se touchent, comme une caisse de fruits ou une file de véhicules, prend un temps qui croît avec le nombre d’objets et leurs contacts, alors que la même image en sémantique prend un temps qui croît avec le nombre de classes présentes, indépendamment du nombre d’objets. Sur une scène à cent objets d’une même classe compacte, l’écart entre les deux formes se compte en multiples, pas en pourcentage. Le contrôle qualité change de granularité. Une segmentation sémantique se vérifie région par région et classe par classe. Une segmentation d’instances se vérifie en plus objet par objet, avec une métrique de correspondance entre masques prédits et masques de référence qui n’a pas d’équivalent en sémantique. Un prestataire qui applique le même protocole de contrôle aux deux formes sous-contrôle l’une des deux. Une observation importante en découle pour un projet de segmentation d’images mixte, qui combine des classes dénombrables et des classes non dénombrables dans les mêmes images. Le choix ne se fait alors pas globalement mais classe par classe : les véhicules en instances, la route et le trottoir en sémantique, dans la même image et le même livrable. C’est une pratique courante et parfaitement défendable, à condition que le cahier des charges le dise explicitement classe par classe plutôt que de trancher une seule forme pour l’ensemble.

Le tableau de décision

Les quatre critères et leurs conséquences se résument dans un tableau qui sert de support direct à une réunion de cadrage.

Critère	Segmentation sémantique	Segmentation d’instances
Nature de l’objet	Région amorphe, sans limite naturelle	Objet dénombrable, à contour propre
Usage aval typique	Composition de scène, proportion de surface	Comptage, suivi, mesure par objet
Objets de même classe en contact	Fusionnés en une seule région	Séparés, chaque contact tranché
Temps d’annotation à densité égale	Fonction du nombre de classes	Fonction du nombre d’objets et de leurs contacts
Contrôle qualité	Par région et par classe	Par objet, avec correspondance de masques
Coût à surface annotée égale	Le plus bas des deux	Supérieur, croissant avec la densité de contacts

Une conséquence pratique s’ensuit. Un cahier des charges bien cadré permet de remplir chaque ligne de ce tableau avant le devis. Un cahier des charges qui laisse plusieurs lignes vides annonce une segmentation d’images dont le prix ne pourra être qu’une fourchette large, révisée après le pilote.

Les cas mixtes et la frontière avec la troisième forme

Certains projets ne se laissent pas ranger dans l’une des deux cases précédentes parce qu’ils ont simultanément besoin d’une lecture complète de la scène et d’une séparation de chaque objet dénombrable qu’elle contient : c’est le cas des systèmes de perception embarquée, qui doivent à la fois cartographier la route et suivre chaque véhicule individuellement. Cette situation ne se résout pas en choisissant l’une des deux formes par défaut, ce qui produirait soit une carte de scène sans objets identifiés soit un inventaire d’objets sans contexte. Elle appelle la troisième forme, qui combine les deux dans un seul livrable où chaque pixel porte à la fois une classe et, quand la classe le justifie, un identifiant d’instance. Le prochain article de la série lui est consacré et en détaille le coût et les contraintes de cohérence propres. Cette gradation conduit à une observation qui dépasse ce seul cluster. La série sur le LiDAR aérien a établi qu’une même donnée peut servir deux usages opposés, l’un tolérant une mesure statistique globale, l’autre exigeant une exactitude objet par objet, et qu’un protocole conçu pour l’un appliqué à l’autre produit soit un surcoût inutile soit une insuffisance dangereuse. Le choix entre sémantique et instances reproduit cette même tension à l’intérieur d’un seul type de donnée : ce n’est jamais la donnée qui impose la méthode, c’est l’usage qu’on en fait.

Le cas des classes hybrides dans un même projet de segmentation d’images

Une catégorie de projets mérite un traitement séparé parce qu’elle combine, au sein d’une même classe, des occurrences tantôt isolées et tantôt agglomérées, ce qui rend le choix entre sémantique et instances instable d’une image à l’autre plutôt que fixé une fois pour toutes. Un dénombrement de fleurs sur imagerie aérienne en offre une illustration directe. À faible densité, chaque fleur constitue une instance nette, séparée de ses voisines par un espace identifiable. À forte densité, les fleurs se recouvrent au point que leur séparation individuelle devient incertaine même pour un œil humain, et la classe se comporte alors comme une région sémantique dont on estime la couverture plutôt qu’un ensemble d’objets que l’on compte un par un. La réponse ne consiste pas à choisir une forme unique pour l’ensemble du corpus, mais à documenter un seuil de densité au-delà duquel la convention change, et à l’appliquer de manière uniforme dans le guide d’annotation. Ce seuil devient alors une donnée du projet au même titre que la nomenclature elle-même, et il doit être validé sur le pilote plutôt que fixé arbitrairement au cadrage. Une conséquence pratique en résulte. Un projet de segmentation d’images qui présente cette instabilité de densité ne se cadre pas complètement avec les quatre critères précédents seuls : il exige une cinquième décision, propre à ce cas, qui porte sur le seuil de bascule plutôt que sur la forme elle-même.

Ce que ce choix ne détermine pas

Choisir la bonne forme est nécessaire mais ne règle pas, à lui seul, ce qui fait la qualité d’une segmentation d’images. Trois limites méritent d’être posées pour éviter qu’un projet ne s’arrête prématurément à cette seule décision. Le choix de la forme ne fixe pas la convention de frontière. Qu’elle soit sémantique ou d’instances, une segmentation contient toujours des pixels ambigus dont le sort doit être écrit avant la production, comme le guide général l’a établi. Passer de l’une à l’autre forme ne dispense de rien sur ce point. Le choix de la forme ne réduit pas automatiquement le coût. Une segmentation sémantique sur une scène à quinze classes fines peut coûter davantage qu’une segmentation d’instances sur une scène à deux classes bien séparées. Le nombre de classes et la complexité des contours pèsent souvent plus que la forme elle-même, et un arbitrage fondé sur la seule économie supposée du sémantique se trompe fréquemment. Le choix de la forme ne dispense pas de définir l’occlusion. En instances, la question de la partie cachée d’un objet reste entière quelle que soit la forme retenue pour le reste du projet, et elle se pose indépendamment du critère de dénombrabilité qui a motivé le choix initial. Une conséquence pratique en résulte. La forme se choisit en premier parce qu’elle conditionne l’architecture du projet, mais elle ne dispense d’aucune des décisions de cadrage détaillées dans le guide général. Un projet qui s’arrête à ce choix a réglé la moitié du problème.

Basculer d’une forme à l’autre en cours de projet

Un changement de forme en cours de production est une situation fréquente, généralement provoquée par une évolution de l’usage du modèle après le lancement du corpus, et elle mérite d’être anticipée plutôt que découverte. Passer du sémantique vers l’instance sur un corpus déjà annoté impose de reprendre chaque région fusionnée pour y distinguer les objets individuels, ce qui équivaut le plus souvent à une réannotation complète plutôt qu’à un ajustement : l’information nécessaire pour séparer deux objets fusionnés n’existe nulle part dans l’annotation sémantique d’origine. Passer de l’instance vers le sémantique est plus simple techniquement, puisqu’il suffit de fusionner les masques d’une même classe, mais cette simplicité cache une perte d’information qui peut s’avérer coûteuse si un usage futur redemande la distinction par objet : la fusion n’est pas réversible sans annotation source conservée. Une conséquence commerciale en découle. Conserver systématiquement les masques d’instance, même quand le livrable immédiat est sémantique, protège contre ce scénario à un coût de stockage négligeable comparé au coût d’une réannotation. C’est une pratique que l’usage précédent devrait généraliser à tout projet dont l’usage final n’est pas encore totalement stabilisé.

Les signaux d’un choix mal posé

Certains signes, visibles dès la lecture d’un cahier des charges, indiquent que le choix entre les deux formes n’a pas été fait consciemment. Le cahier des charges emploie indifféremment « segmentation » et « détection » sans préciser laquelle des deux formes est visée. Cette confusion de vocabulaire annonce presque toujours une confusion de besoin. Le cahier des charges demande une segmentation d’instances sur des classes qui n’ont manifestement pas de contour individuel, comme la végétation ou la neige. C’est un signe que la forme a été choisie par défaut de précaution plutôt que par analyse de l’usage. Le cahier des charges demande une segmentation sémantique tout en exigeant, dans une autre section, un comptage d’objets par l’image. Ces deux exigences sont incompatibles avec une seule forme, et leur coexistence signale que personne n’a arbitré. Le budget annoncé correspond au tarif habituel du sémantique alors que la densité de contacts décrite dans le brief appelle manifestement des instances. Cet écart se découvre au pilote si le cadrage ne l’a pas anticipé, et il se découvre alors au pire moment, quand le volume est déjà engagé. Une conséquence pratique en découle. Ces signaux se lisent en quelques minutes sur un cahier des charges, avant tout devis, et ils indiquent systématiquement la même réponse : reposer la question de l’usage aval avant de retenir un prix ou un délai.

Erreurs fréquentes dans le choix entre segmentation sémantique et segmentation d’instances

• Choisir la forme sur l’apparence visuelle de la scène plutôt que sur l’usage du modèle.
• Ignorer la fréquence des contacts entre objets de même classe.
• Retenir le sémantique par économie sans vérifier qu’il satisfait l’usage aval.
• Demander des instances sur des classes sans contour individuel identifiable.
• Appliquer le même protocole de contrôle qualité aux deux formes.
• Mélanger les deux formes dans un même livrable sans le préciser classe par classe.
• Oublier de conserver les masques d’instance quand le livrable immédiat est sémantique.
• Croire que le choix de la forme dispense de la convention de frontière.
• Chiffrer un projet d’instances au tarif habituel du sémantique.
• Laisser coexister deux exigences contradictoires sans arbitrage explicite.

Ce qu’il faut retenir

Le choix entre segmentation sémantique et segmentation d’instances se fait sur quatre critères ordonnés, dont le plus déterminant est l’usage que le modèle fera du résultat. Ce choix conditionne le temps d’annotation, le protocole de contrôle et la réversibilité du corpus, mais il ne dispense d’aucune des décisions de cadrage qu’exige toute segmentation d’images, ni de la convention de frontière ni de la définition de l’occlusion. Trois lectures s’imposent à l’issue de cette comparaison. L’usage aval prime sur l’apparence visuelle de la scène, ce qui signifie qu’une image complexe peut relever du sémantique et qu’une image simple peut exiger des instances, selon ce que le modèle final doit produire. Le coût des deux formes n’est pas séparable du nombre de classes et de la densité de contacts, ce qui signifie qu’un arbitrage fondé sur la seule économie supposée d’une forme se trompe souvent. La réversibilité est asymétrique entre les deux sens de bascule, ce qui signifie que conserver les masques d’instance protège un projet contre un changement d’usage à un coût dérisoire comparé à une réannotation complète. Quand les deux besoins coexistent dans un même projet, la segmentation panoptique répond à cette situation en combinant les deux formes dans un seul livrable, au prix d’une complexité de cohérence propre que l’article suivant détaille. Pour cadrer un projet de segmentation d’images pour la computer vision, quelle que soit la forme retenue, décrivez votre projet à l’équipe pour construire un pilote qui tranchera les critères restés ouverts.