La segmentation par point est la formulation la plus exigeante de l’annotation 3D. Elle attribue une classe à chaque mesure plutôt qu’une boîte à chaque objet, et ce changement d’unité multiplie la charge dans un rapport que peu de commanditaires anticipent.
Cet article expose ce qu’elle demande. Il prolonge l’article consacré aux cuboïdes 3D.
Les trois formulations
Trois tâches d’annotation 3D portent le même nom.
Leur coût diffère fortement.
La segmentation sémantique, qui attribue une classe à chaque point sans distinguer les objets d’une même classe.
La segmentation d’instance, qui sépare en outre deux objets voisins de même nature.
Et la segmentation panoptique, qui combine les deux en traitant différemment les objets dénombrables et les surfaces continues.
Une conséquence pratique importante en découle. Ces trois formulations demandent un travail dont le rapport de coût est important, la séparation d’instances sur des objets en contact constituant l’essentiel du surcoût en annotation 3D.
Ce qui change par rapport au cuboïde
Quatre différences séparent ces deux formulations d’annotation 3D.
L’unité de travail devient le point plutôt que l’objet, ce qui rend la charge dépendante de la densité du nuage.
Les surfaces continues deviennent annotables, sol, végétation et bâti n’ayant pas d’emprise de type boîte.
La forme réelle est décrite, ce qui sert les tâches de manipulation et de mesure de volume.
Et les frontières entre classes deviennent la principale source de désaccord, là où le cuboïde concentrait la difficulté sur l’orientation.
Une observation en découle. La deuxième différence explique l’essentiel de la demande, un projet de cartographie ou d’aménagement ayant besoin de classifier des surfaces qu’aucune boîte ne décrit.
La frontière entre classes
Cette difficulté domine la tâche et elle est structurelle.
Le passage d’une classe à une autre ne correspond pas toujours à une limite nette dans la donnée.
Quatre configurations l’illustrent en annotation 3D.
Le contact entre un objet et le sol, où les derniers points sous un véhicule appartiennent à l’un ou à l’autre.
La végétation basse, dont la séparation d’avec le sol dépend d’un seuil de hauteur à fixer.
Les surfaces mitoyennes, un mur et un trottoir se rejoignant sans discontinuité mesurable.
Et les objets composites, un poteau portant un panneau relevant d’une ou de deux classes.
Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Ces quatre configurations concentrent la majorité du désaccord entre annotateurs, ce qui justifie de leur consacrer l’essentiel du référentiel de cas plutôt que de documenter les situations évidentes.
Ce que la densité impose
Cette propriété gouverne la faisabilité de la tâche.
Le nombre de points sur une surface décroît avec le carré de la distance.
Trois conséquences en découlent.
Une surface lointaine devient inclassable, quelques points épars ne portant pas de signature exploitable.
Le coût par point ne varie pas mais le coût par mètre carré annoté croît fortement près du capteur.
Et la frontière entre deux classes devient d’autant plus arbitraire que les points sont rares.
Une observation importante en découle. La deuxième conséquence inverse la logique du cuboïde, une zone proche et dense coûtant davantage à segmenter qu’une zone lointaine alors qu’elle coûtait moins à encadrer.
Comment un annotateur travaille
Cinq fonctions d’outillage conditionnent la cadence sur cette tâche d’annotation 3D.
La sélection par volume, qui affecte une classe à tous les points contenus dans une forme dessinée.
La sélection par propagation, qui étend une sélection aux points voisins selon un critère de continuité.
Le filtrage par hauteur, qui isole rapidement le sol et les objets bas.
La projection sur une image, qui permet de vérifier une classe ambiguë.
Et l’annulation fine, un geste malheureux affectant des milliers de points d’un coup.
Une conséquence pratique importante en découle. La deuxième fonction est le principal levier de cadence, une propagation bien réglée traitant en un geste ce qu’une sélection manuelle demanderait de délimiter point par point.
Les classes d’un nuage extérieur
Six catégories composent une nomenclature d’annotation 3D courante.
Leur difficulté diffère nettement.
Le sol, classe la plus volumineuse et la plus rapide à traiter par filtrage.
Le bâti, dont les faces planes se propagent facilement.
La végétation, dont la structure éparse résiste à la propagation.
Les objets mobiles, dont la séparation d’avec le sol demande un soin particulier.
Le mobilier et l’infrastructure, poteaux, barrières et signalisation.
Et le bruit, points aberrants dont l’existence doit être prévue par une classe dédiée.
Une observation en découle pour un projet d’annotation 3D. La dernière classe est la plus souvent omise, l’absence d’exutoire pour les points aberrants conduisant les annotateurs à les rattacher arbitrairement et à polluer les classes voisines.
Le rôle de la propagation
Ce mécanisme porte l’essentiel de la productivité en annotation 3D.
Il mérite un traitement séparé.
La propagation étend une sélection selon un critère de proximité ou de continuité de surface.
Trois réglages en gouvernent le comportement en annotation 3D.
Le rayon de voisinage, dont une valeur trop grande fait déborder la sélection sur une classe voisine.
Le critère de continuité, distance seule ou orientation de surface, le second respectant mieux les arêtes.
Et la limite d’extension, qui borne une propagation avant qu’elle ne parcoure toute la scène.
Une conséquence pratique s’ensuit. Ces trois réglages diffèrent selon la classe traitée, une propagation adaptée au bâti débordant systématiquement sur la végétation, ce qui justifie des réglages par classe plutôt qu’un réglage unique.
Séparer les instances
Une exigence supplémentaire mérite un traitement séparé car elle porte l’essentiel du surcoût.
Deux objets de même classe en contact doivent recevoir des identifiants distincts.
Quatre configurations la rendent difficile.
Le contact direct, deux véhicules pare-chocs contre pare-chocs ne présentant aucune discontinuité géométrique.
Le recouvrement partiel, un objet masquant l’autre et supprimant la frontière visible.
Les structures continues, une rangée d’arbres ou une haie ne se découpant pas en individus évidents.
Et les objets composés, un ensemble tracteur et remorque relevant d’une ou de deux instances.
Une conséquence pratique importante en découle pour un projet d’annotation 3D. La troisième configuration appelle une règle de dénombrement explicite plutôt qu’un jugement, une haie pouvant constituer une instance unique ou autant d’instances que de plants selon ce que l’usage aval exploite.
Le contrôle qualité d’une segmentation
Cinq vérifications détectent les défauts propres à cette tâche.
La distribution des classes par scène, une proportion inhabituelle signalant un oubli ou un débordement.
Les points non classés, dont le taux doit rester borné et déclaré.
La cohérence verticale, des points de sol situés au dessus d’un bâtiment signalant une erreur.
Les îlots isolés, un petit groupe de points d’une classe entouré d’une autre signalant un débordement de propagation.
Et la comparaison entre annotateurs sur les zones de frontière plutôt que sur la scène entière.
Une observation importante en découle. La quatrième vérification est la plus révélatrice et la plus économique, un débordement de propagation produisant une signature géométrique caractéristique que rien d’autre ne produit en annotation 3D.
Ce que cette tâche coûte
Cinq facteurs déterminent la charge en annotation 3D.
Ils ne se réduisent pas au nombre de points.
Le nombre de classes, dont la proximité compte davantage que le nombre.
La longueur des frontières entre classes, véritable unité de travail de cette tâche.
L’exigence d’instance, qui ajoute la séparation des objets en contact.
La densité du nuage, qui allonge le temps de vérification sans changer la difficulté de décision.
Et la présence d’une image projetée, qui réduit le temps passé sur les classes ambiguës.
Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Le deuxième facteur est le plus prédictif et le moins employé, une scène dont les objets sont nombreux et découpés coûtant davantage qu’une scène de même volume aux grandes surfaces homogènes.
Ce que la pré-annotation apporte ici
Trois observations situent l’apport de l’assistance en annotation 3D.
La classification des grandes surfaces fonctionne bien, sol et bâti étant abondants dans les corpus d’entraînement.
Les frontières restent humaines, un modèle produisant une limite plausible plutôt que conforme à la convention du projet.
Et la séparation d’instances sur objets en contact reste le point faible.
Une observation en découle. Ces trois constats conduisent à une répartition efficace, le modèle traite le volume et l’humain traite les frontières, répartition qui correspond exactement à la structure de coût exposée plus haut.
Ce que cette tâche ne permet pas
Quatre limites bornent ce qu’une segmentation d’annotation 3D peut établir.
Une surface non échantillonnée n’est pas classable, l’occlusion supprimant la donnée plutôt que de la masquer.
Deux matériaux distincts de même géométrie sont indiscernables sans information complémentaire.
Une frontière progressive ne devient nette que par convention.
Et un objet trop peu échantillonné reçoit une classe par inférence plutôt que par observation.
Cette deuxième limite mérite d’être soulignée. Elle signifie qu’une nomenclature distinguant deux surfaces par leur nature plutôt que par leur forme suppose une image ou une mesure d’intensité, exigence qui doit être vérifiée avant d’accepter la nomenclature.
Aborder un projet de segmentation
Cinq questions cadrent un projet de segmentation en annotation 3D.
Quelle formulation, sémantique, instance ou panoptique. Cette réponse détermine le coût dans un rapport important.
Les classes se distinguent-elles par la forme ou par la nature. La seconde suppose une information complémentaire.
Une classe pour le bruit est-elle prévue. Son absence pollue les classes voisines.
Les frontières ambiguës sont-elles documentées. Leur absence produit un désaccord irréductible.
Et une image projetée est-elle disponible. Sa présence réduit fortement le temps sur les cas ambigus.
Ces cinq réponses déterminent la charge et la faisabilité. Les poser avant de commencer évite un corpus dont les frontières varient d’un annotateur à l’autre.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.
La segmentation par point déplace l’unité de travail et donc la structure du coût.
Trois constats la composent.
La longueur des frontières prédit la charge mieux que le nombre de points, ce qui rend un chiffrage au volume systématiquement faux.
Les zones de contact concentrent le désaccord, ce qui justifie d’y consacrer le référentiel et le contrôle.
Et la propagation porte la productivité, ce qui fait de son réglage par classe un levier plus important que la compétence individuelle.
Ce constat rejoint celui que le chapitre précédent a établi à propos des cuboïdes : la difficulté se concentre sur une grandeur particulière, et le référentiel doit la traiter en priorité plutôt que couvrir uniformément la tâche.
Les erreurs les plus fréquentes
- Confondre segmentation sémantique et segmentation d’instance au cadrage.
- Chiffrer au nombre de points plutôt qu’à la longueur des frontières.
- Omettre la classe destinée aux points aberrants.
- Employer un réglage de propagation unique pour toutes les classes.
- Ne pas documenter la séparation entre un objet et le sol.
- Fixer une nomenclature distinguant des matériaux sans information complémentaire.
- Négliger le contrôle des îlots isolés, signature d’un débordement.
- Contrôler la scène entière plutôt que les zones de frontière.
- Attendre d’un modèle qu’il respecte les frontières conventionnelles du projet.
- Ne pas déclarer le taux de points laissés non classés.
Ce que l’intensité apporte
Une information accompagne souvent les coordonnées et elle est régulièrement ignorée.
Un capteur de distance mesure aussi la puissance du signal retourné.
Trois exploitations en découlent en annotation 3D.
La distinction de matériaux, un marquage routier réfléchissant se séparant nettement de l’asphalte à géométrie identique.
La détection de surfaces problématiques, un retour anormalement faible signalant un vitrage ou une surface sombre.
Et l’aide à la segmentation, la propagation pouvant intégrer ce critère en plus de la proximité.
Une observation importante en découle. La première exploitation résout une part des cas que la géométrie seule laisse indécidables, ce qui rend la disponibilité de cette information déterminante pour toute nomenclature distinguant des matériaux plutôt que des formes.
Mesurer le désaccord sur une segmentation
Une opération borne ce qui peut être promis et elle diffère de celle des cuboïdes.
Deux annotateurs traitent la même scène et leurs classes se comparent point par point.
Quatre informations exploitables en découlent.
L’accord global, généralement élevé et peu informatif puisque dominé par les grandes surfaces faciles.
L’accord par classe, qui identifie les catégories dont la définition ne tient pas.
L’accord restreint aux zones de frontière, seule mesure représentative de la difficulté réelle.
Et la liste des configurations litigieuses, matière première du référentiel.
Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Le premier indicateur est celui que l’on rapporte et le troisième est celui qui informe, un accord global flatteur pouvant coexister avec un désaccord massif sur les frontières qui constituent l’enjeu du corpus.
Les usages qui demandent cette formulation
Cinq contextes exigent une segmentation plutôt qu’un cuboïde.
La cartographie et le jumeau numérique, où le livrable est une classification de l’espace et non une liste d’objets.
La manipulation robotique, où saisir un objet suppose de connaître sa forme et non son encombrement.
La mesure de volume, en carrière, en stockage ou en biomasse forestière.
La détection de sol traversable, où la question porte sur une surface continue.
Et l’analyse de structure, où la géométrie d’un ouvrage ou d’un végétal constitue l’information recherchée.
Une observation en découle pour un prestataire d’annotation 3D. Ces cinq contextes ont en commun de porter sur des surfaces plutôt que sur des objets dénombrables, ce qui fournit un critère simple pour orienter un client vers l’une ou l’autre formulation dès le premier échange.
Les conventions à écrire en premier
Cinq règles couvrent la majorité des désaccords sur cette tâche.
Le rattachement des points de contact entre un objet et le sol, exprimé par un critère de hauteur plutôt que par un jugement.
Le seuil séparant la végétation basse du sol.
Le traitement des objets composites, poteau et panneau relevant d’une ou de deux classes.
La règle de dénombrement pour les structures continues lorsque l’instance est demandée.
Et le sort des points aberrants, avec la classe qui les accueille.
Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Ces cinq règles portent toutes sur des frontières, ce qui confirme le constat central de ce chapitre, un référentiel utile documente les zones de contact et non les situations évidentes.
Le premier lot d’un projet de segmentation
Quatre scènes composent un lot pilote qui éprouve réellement les conventions.
Une scène aux grandes surfaces homogènes, qui fournit la cadence de référence.
Une scène densément découpée, mobilier et végétation mêlés, qui révèle le coût réel des frontières.
Une scène contenant des objets de même classe en contact, qui éprouve la règle de dénombrement si l’instance est demandée.
Et une scène comportant une surface problématique, vitrage ou eau, qui vérifie le traitement des points aberrants.
Une observation en découle. L’écart de cadence entre les deux premières scènes est la donnée la plus utile de ce lot, il mesure directement l’effet de la longueur des frontières et il fournit la base d’un chiffrage que le volume de points ne permet pas d’établir en annotation 3D.
Les formats de livraison
Quatre décisions de format engagent l’exploitation d’une segmentation.
Le mode de portage de la classe, un champ supplémentaire par point ou un fichier d’étiquettes indexé sur l’ordre des points.
Le sort des points non classés, valeur réservée explicite plutôt qu’absence d’étiquette.
La représentation des instances, identifiant séparé de la classe plutôt que combiné avec elle.
Et la table des classes livrée avec le corpus, sans laquelle les valeurs numériques ne signifient rien.
Une conséquence pratique s’ensuit pour un projet d’annotation 3D. La deuxième décision produit le malentendu le plus fréquent, une absence d’étiquette signifiant soit qu’aucune classe ne convient soit que la zone n’a pas été traitée, ambiguïté qui se lève par une valeur réservée et une déclaration des zones couvertes.
La question qui cadre le projet
Une question détermine la formulation et elle porte sur le livrable attendu.
L’exploitant a-t-il besoin de compter des objets ou de qualifier de l’espace.
Une réponse orientée dénombrement place le projet du côté du cuboïde, plus rapide et suffisant pour détecter, suivre et éviter.
Une réponse orientée qualification de surface impose la segmentation, aucune boîte ne décrivant un sol, une paroi ou un couvert végétal.
Cette question se pose en une phrase, elle sépare deux régimes de coût très différents, et elle évite le cas le plus coûteux, une segmentation demandée pour un usage qu’un cuboïde aurait servi.
Trois contrôles avant de livrer
Trois vérifications suffisent à écarter la majorité des défauts d’un lot segmenté.
Comparer la distribution des classes à celle des lots précédents, un écart signalant un oubli ou un débordement systématique.
Repérer les îlots isolés, petits groupes d’une classe cernés par une autre, signature caractéristique d’une propagation mal réglée.
Et relever le taux de points laissés non classés, valeur qui doit rester bornée et figurer dans le rapport plutôt que rester implicite.
Ces trois contrôles s’exécutent sur un export livré, ils ne demandent aucune référence externe, et ils couvrent ce qui distingue une segmentation exploitable d’une segmentation visuellement acceptable.
Combiner les deux formulations
Un montage mixte se rencontre et il mérite d’être signalé.
Un même corpus peut recevoir des cuboïdes sur les objets dénombrables et une segmentation sur les surfaces.
Trois avantages l’accompagnent.
Le coût reste contenu, la segmentation coûteuse ne portant que sur les catégories qui l’exigent.
Chaque usage reçoit la représentation qui lui convient sans arbitrage global.
Et les contrôles des deux formulations s’appliquent chacun à leur périmètre.
Une observation en découle pour un projet d’annotation 3D. Ce montage suppose de trancher classe par classe plutôt que globalement, exercice d’une heure qui produit fréquemment une économie supérieure à toute optimisation de production.
Ce qu’il faut retenir
La segmentation de nuages attribue une classe à chaque point, ce qui change l’unité de travail et la structure du coût.
Trois lectures se dégagent. La longueur des frontières entre classes prédit la charge mieux que le nombre de points, une scène découpée coûtant davantage qu’une scène de même volume aux grandes surfaces homogènes. Les réglages de propagation doivent différer par classe, une propagation adaptée au bâti débordant systématiquement sur la végétation. Et le contrôle des îlots isolés est la vérification la plus révélatrice, un débordement produisant une signature géométrique que rien d’autre ne produit.
Pour le vertical où cette formulation est la plus demandée, l’article consacré à l’annotation 3D pour la robotique et la logistique expose le contexte. Pour le cadre général, le guide de l’annotation 3D pose le panorama.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous devez faire segmenter des nuages de points, échangeons sur votre projet.
