Densité, occlusion et sparsité – les difficultés de l’annotation 3D

Les verticaux précédents partagent trois difficultés que leurs contextes particuliers déclinent différemment. Ce chapitre les traite pour elles-mêmes, parce qu’elles bornent ce qu’un corpus tridimensionnel peut affirmer indépendamment du domaine.Il prolonge l’article consacré à l’annotation 3D dans le BTP.

Les trois familles de difficultés

Trois causes distinctes produisent les défaillances de l’annotation 3D.La sparsité, où l’objet est présent et trop peu échantillonné pour être qualifié.L’occlusion, où l’objet est masqué et absent de la donnée plutôt que dégradé.Et l’ambiguïté géométrique, où l’objet est correctement échantillonné et indiscernable d’un autre.Une conséquence pratique importante en découle. Ces trois familles appellent des réponses différentes, la première un seuil, la deuxième une convention et la troisième une information complémentaire, ce qui rend leur confusion coûteuse en annotation 3D.

Ce que la sparsité produit

Cette propriété gouverne la faisabilité d’un projet d’annotation 3D.Elle se quantifie.Le nombre de points sur un objet décroît avec le carré de la distance.Quatre conséquences en découlent.La classe devient incertaine, quelques points ne portant pas de signature exploitable.La dimension repose sur une extrapolation plutôt que sur une mesure.L’orientation devient indéterminable, l’avant n’étant plus discernable.Et le désaccord entre annotateurs croît fortement, sur la classe comme sur les dimensions.Une observation importante en découle. Ces quatre effets apparaissent progressivement plutôt qu’à un seuil net, ce qui rend le choix d’une distance maximale conventionnel et impose de le fonder sur une mesure plutôt que sur une intuition.

Fixer le seuil de sparsité

Cette méthode transforme une intuition en valeur mesurée.Le principe consiste à mesurer l’accord entre annotateurs par tranche de distance.Trois informations en découlent pour un projet d’annotation 3D.La distance au delà de laquelle l’accord sur la classe s’effondre.La distance au delà de laquelle l’orientation cesse d’être déterminable.Et le nombre de points correspondant à ces deux seuils, valeur transposable à d’autres capteurs.Une conséquence pratique importante en découle pour un projet d’annotation 3D. La troisième information est la plus utile, un seuil exprimé en nombre de points se transposant d’un capteur à l’autre là qu’un seuil exprimé en mètres ne vaut que pour l’équipement qui l’a produit.

Ce que l’occlusion produit en 3D

Une différence avec l’annotation d’images mérite d’être soulignée.Ce qui est derrière un obstacle ne produit aucun point, l’information étant absente plutôt que dégradée.Quatre conséquences en découlent.Un objet partiellement observé se dimensionne par extrapolation plutôt que par mesure.Un objet entièrement masqué n’est pas annotable, l’effort n’y changeant rien.La face observée détermine quelles dimensions sont mesurées et lesquelles sont déduites.Et la convention d’extrapolation devient la source d’une part des dimensions livrées.Une observation importante en découle. Cette absence franche est plus favorable qu’une dégradation progressive, elle se détecte et se déclare là qu’une donnée dégradée se confond avec une donnée valide en annotation 3D.

Les degrés d’occlusion

Quatre situations se distinguent en annotation 3D.Elles n’appellent pas le même traitement.L’objet partiellement visible sur plusieurs faces, dimensionnable avec une faible extrapolation.L’objet visible sur une seule face, dont la profondeur est entièrement conventionnelle.L’objet visible par quelques points épars, dont la classe elle-même devient incertaine.Et l’objet entièrement masqué, absent de la donnée.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Ces quatre situations justifient un attribut d’occlusion à quatre niveaux plutôt qu’un indicateur binaire, la deuxième et la troisième appelant des traitements très différents en exploitation.

L’ambiguïté géométrique

Cette troisième difficulté persiste malgré une densité suffisante.Deux objets de géométrie identique ne se distinguent pas par la forme.Quatre configurations l’illustrent en annotation 3D.Deux matériaux différents formant la même surface plane.Deux véhicules de gabarit voisin observés partiellement.Un poteau et un arbre élagué de diamètre comparable.Et deux objets en contact ne présentant aucune discontinuité mesurable entre eux.Une observation importante en découle. Ces quatre configurations ne se résolvent pas par un effort supplémentaire, elles appellent une information complémentaire, couleur, intensité ou contexte, ou une classe déclarant l’indécision.

Les surfaces qui trompent le capteur

Quatre matériaux produisent une donnée fausse plutôt qu’absente.Le vitrage, qui laisse passer le signal et fait apparaître l’arrière-plan à la place de la surface.Le métal poli, qui réfléchit et produit des points à des positions qui n’existent pas.L’eau, dont le comportement combine réflexion et absorption selon l’angle.Et les surfaces sombres mates, dont le retour trop faible produit une absence sélective.Une conséquence pratique importante en découle pour un projet d’annotation 3D. Le deuxième matériau est le plus dangereux, un point réfléchi étant géométriquement valide et physiquement faux, ce qui le rend indétectable par les contrôles de plausibilité ordinaires.

Détecter les points faux

Une opération distingue une donnée absente d’une donnée fausse et elle se programme.Quatre signatures trahissent un point réfléchi ou aberrant en annotation 3D.La position derrière une surface opaque déjà mesurée, physiquement impossible.L’isolement, un point sans voisin dans un rayon donné n’appartenant à aucune surface.La symétrie par rapport à un plan réfléchissant, signature caractéristique d’une réflexion spéculaire.Et l’intensité anormalement élevée ou faible par rapport au voisinage immédiat.Une conséquence pratique importante en découle pour un projet d’annotation 3D. La première signature est la plus fiable et la moins employée, un point situé derrière une paroi mesurée ne pouvant exister, ce qui fournit un contrôle automatique que ni la distance ni l’isolement ne remplacent.

Ce que l’acquisition peut corriger

Quatre décisions amont réduisent ces difficultés d’annotation 3D.Elles échappent au travail d’annotation lui-même.La multiplication des points de vue, qui réduit l’occlusion sans changer le capteur.Le rapprochement du capteur, qui augmente la densité sur les objets d’intérêt.Le choix de la période, qui change la pénétration en milieu végétal.Et l’ajout d’une modalité, image ou intensité, qui lève une part importante des ambiguïtés géométriques.Une observation en découle. La première décision est la plus efficace et la moins coûteuse, une seconde station ou un second passage supprimant une part de l’occlusion plutôt que de la rendre plus lisible.

Ce que la convention doit prévoir

Six décisions de convention couvrent l’essentiel de ces difficultés. Elles s’écrivent avant la production.Le nombre minimal de points en dessous duquel un objet n’est pas annoté.La distance maximale couverte, dérivée du seuil précédent.La règle d’extrapolation des faces non observées, avec l’attribut qui la signale.Les niveaux de l’attribut d’occlusion.Le traitement des points aberrants dus aux surfaces réfléchissantes.Et la classe accueillant les objets dont la nature reste indécidable après examen.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. La cinquième décision est la plus souvent omise, un point réfléchi étant traité tantôt comme un objet tantôt comme du bruit selon l’annotateur, ce qui produit une incohérence que rien ne détecte.

Ce que ces difficultés coûtent

Quatre effets sur la charge d’annotation 3D accompagnent ces configurations.La cadence chute fortement, un objet épars demandant un examen là qu’un objet dense se traite d’un geste.Le désaccord augmente, ce qui impose une double annotation plus fréquente.L’arbitrage devient nécessaire, un cas limite remontant à un responsable.Et la part indécidable consomme du temps sans produire de donnée exploitable.Une conséquence pratique importante en découle. Ces quatre effets se concentrent sur les objets les plus lointains et les moins utiles, ce qui rend le seuil de distance à la fois un levier d’économie et un levier de qualité.

Mesurer la part indécidable

Une opération quantifie cette part et elle borne toute exigence contractuelle.Deux annotateurs traitent les mêmes scènes et leurs désaccords se classent par cause.Quatre informations exploitables en découlent.La part attribuable à la sparsité, qui décroît si le seuil de distance est resserré.La part attribuable à l’occlusion, qui dépend de la géométrie d’acquisition.La part attribuable à l’ambiguïté, qui appelle une information complémentaire.Et la part attribuable à une convention insuffisante, seule catégorie corrigible par écrit.Une observation importante en découle pour un projet d’annotation 3D. Ce classement oriente l’effort, les trois premières catégories relevant de l’acquisition et la quatrième de la documentation, ce qui évite de chercher en production une correction qui relève d’ailleurs.

Aborder ces difficultés dans un projet

Cinq questions cadrent ces difficultés d’annotation 3D. Elles se posent avant la production.Quelle part des objets se situe au delà du seuil de sparsité mesuré. Cette réponse dimensionne la difficulté principale.Combien de points de vue couvrent la scène. Cette réponse détermine l’occlusion résiduelle.Une information complémentaire est-elle disponible. Sa présence lève une part des ambiguïtés.Quels matériaux problématiques la scène contient-elle. Cette réponse prédit les points faux.Et une classe indécidable est-elle prévue dans la nomenclature. Son absence transforme une limite en bruit.Ces cinq réponses déterminent les conventions à écrire et l’exigence tenable. Les poser avant de commencer évite un engagement sur une précision que la donnée ne porte pas.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen.Ces difficultés se répartissent en trois catégories dont une seule relève de l’annotation.Trois constats la composent.Une part relève de l’acquisition, densité, points de vue et modalité se décidant en amont ou pas du tout.Une part relève de la convention, seuils et extrapolation demandant une règle écrite plutôt qu’un effort supplémentaire.Et une part est irréductible, deux objets de même géométrie sans information complémentaire ne se séparant pas.Ce constat rejoint celui que le cluster vidéo a établi à propos des occlusions et du flou : distinguer une erreur d’une limite évite de consacrer un effort à corriger ce qui ne peut pas l’être, et cette distinction se pose au diagnostic plutôt qu’après plusieurs tentatives.

Les erreurs les plus fréquentes

• Fixer un seuil de distance par intuition plutôt que par mesure.
• Exprimer un seuil en mètres plutôt qu’en nombre de points.
• Employer un attribut d’occlusion binaire plutôt qu’à plusieurs niveaux.
• Extrapoler une face non observée sans le signaler.
• Traiter un point réfléchi tantôt comme un objet tantôt comme du bruit.
• Négliger la classe des cas indécidables.
• Attendre d’un effort supplémentaire qu’il lève une ambiguïté géométrique.
• Ignorer la multiplication des points de vue comme correction d’occlusion.
• Confondre sparsité et occlusion dans un même attribut.
• Exiger la même précision à toutes les distances.

Ce que l’annotateur doit pouvoir faire

Cinq possibilités d’outillage conditionnent le traitement correct de ces configurations en annotation 3D.Consulter le nombre de points contenus dans une sélection, qui objective une impression de sparsité.Basculer entre nuage brut et nuage coloré, qui révèle ce que la couleur masque.Afficher la position du capteur, qui explique une occlusion et oriente l’extrapolation.Marquer une décision incertaine sans interrompre son travail.Et signaler un point suspect sans avoir à trancher sa nature.Une observation importante en découle. La troisième possibilité est propre à ce domaine et rarement disponible, connaître d’où la scène a été observée expliquant immédiatement quelle face d’un objet est mesurée et laquelle est déduite.

Les configurations les plus difficiles

Cinq situations cumulent plusieurs des difficultés exposées et elles méritent d’être repérées au cadrage.La scène vitrée, où l’absence, la réflexion et l’arrière-plan apparent se combinent.Le vrac dense, où occlusion mutuelle et absence de frontière géométrique se cumulent.La longue portée en extérieur, où sparsité et ambiguïté de classe se conjuguent.Le couvert végétal, où l’occlusion partielle produit une donnée éparse et trompeuse plutôt qu’absente.Et l’environnement métallique, où les réflexions produisent des structures fantômes cohérentes.Une observation en découle pour un projet d’annotation 3D. La dernière configuration est la plus insidieuse, une réflexion sur une grande surface plane produisant une copie géométriquement plausible de tout un pan de scène, que seul un contrôle de position derrière une paroi mesurée révèle.

Formuler une exigence tenable

Une méthode en trois temps évite un engagement irréalisable sur ces configurations.Séparer l’exigence par tranche de distance, un objet proche et un objet lointain n’étant pas décrits avec la même certitude.Distinguer les grandeurs mesurées des grandeurs extrapolées, l’exigence ne pouvant porter de la même façon sur les deux.Et déclarer explicitement la part indécidable, qui borne ce qu’un système peut atteindre indépendamment de sa qualité.Une observation importante en découle pour un projet d’annotation 3D. La deuxième étape est spécifique à ce domaine, une tolérance dimensionnelle appliquée indistinctement à une face mesurée et à une face extrapolée engageant sur une précision que la convention seule détermine.

Expliquer ces limites à un client

Quatre formulations rendent cette conversation productive plutôt que défensive.Montrer la configuration plutôt que la décrire, un objet réduit à quelques points valant toute explication.Distinguer ce qui relève de l’acquisition, de la convention et de l’irréductible, ce qui répartit les responsabilités sans les esquiver.Proposer la correction en amont lorsqu’elle existe, un point de vue supplémentaire étant une réponse constructive.Et chiffrer la part concernée, une difficulté portant sur une fraction faible du corpus ne justifiant pas de renoncer au projet.Une observation en découle pour un prestataire d’annotation 3D. La deuxième formulation est la plus utile ici, la répartition entre acquisition et annotation étant plus nette qu’en vidéo, ce qui permet de désigner une correction précise plutôt que de constater une limite générale.

Le premier lot et les cas difficiles

Quatre scènes composent un lot pilote qui éprouve réellement ces difficultés.Une scène de densité ordinaire, qui fournit la cadence de référence.Une scène contenant des objets à la limite de sparsité, qui vérifie que le seuil est bien placé.Une scène à occlusions mutuelles, qui teste la convention d’extrapolation et les niveaux d’occlusion.Et une scène comportant une surface réfléchissante, qui éprouve le traitement des points faux.Une observation en découle. La deuxième scène est la plus informative, elle fournit à la fois la cadence effondrée sur les objets épars et le désaccord entre annotateurs à cette distance, deux valeurs qui déterminent ensemble s’il faut resserrer le seuil en annotation 3D.

Ce que la multiplication des points de vue apporte

Une correction mérite un traitement séparé car elle est la plus efficace et la moins employée.Observer une scène depuis plusieurs positions supprime une part de l’occlusion plutôt que de la rendre lisible.Quatre bénéfices en découlent pour un projet d’annotation 3D.Les faces masquées depuis une position deviennent mesurées depuis une autre.La densité augmente sur les objets vus plusieurs fois.Les points faux dus aux réflexions se détectent par incohérence entre stations.Et l’extrapolation recule, une part des dimensions devenant mesurées.Trois coûts l’accompagnent.Le temps d’acquisition, chaque station supplémentaire allongeant la sortie.Le recalage entre stations, qui introduit sa propre source d’erreur.Et le volume de données, qui croît proportionnellement au nombre de stations.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Ces trois coûts sont supportés une fois à l’acquisition alors que les bénéfices se répercutent sur toute la durée de l’annotation, ce qui rend ce compromis presque toujours favorable et pourtant rarement examiné.

La question qui précède les autres

Une question détermine si ces difficultés sont bloquantes ou marginales.Quelle part des objets d’intérêt se situe au delà du seuil de sparsité mesuré.Une réponse faible place ces difficultés en marge, un seuil déclaré et une classe indécidable suffisant à les absorber.Une réponse élevée les place au centre, ce qui justifie une station supplémentaire, un capteur plus dense ou une révision du périmètre.Cette question se répond en comptant les objets par tranche de distance sur quelques scènes, elle précède toute discussion de méthode, et elle évite de dimensionner un projet entier sur une difficulté qui n’en concerne qu’une fraction.

Trois contrôles à mettre en place

Trois vérifications traitent la majorité de ces difficultés et elles se programment en une journée.Le comptage des points par objet annoté, qui objective la sparsité et signale les annotations sans support.La détection des points situés derrière une surface mesurée, seule signature fiable d’une réflexion.Et le contrôle de cohérence de l’attribut d’occlusion, un objet déclaré complet et pourtant privé d’une face constituant une contradiction.Ces trois contrôles s’exécutent sur un export livré, ils exploitent la géométrie plutôt qu’une référence externe, et ils couvrent ce qui distingue une donnée exploitable d’une donnée qui paraît l’être.

Ce que ces limites impliquent pour le corpus

Trois conséquences dépassent le projet initial et méritent d’être posées au cadrage.Un corpus constitué avec un seuil de sparsité donné ne se compare pas à un corpus constitué avec un autre, la population d’objets différant.Un système entraîné sur des faces extrapolées apprend une convention autant qu’une géométrie, ce qui lie sa performance à la règle employée.Et les zones sans donnée doivent être déclarées plutôt que laissées implicites, faute de quoi une absence se lit comme une absence d’objet.Une observation en découle pour un projet d’annotation 3D. La troisième conséquence est la plus dommageable et la plus facile à éviter, un masque de couverture livré avec le corpus distinguant ce qui a été observé et jugé vide de ce qui n’a pas été observé du tout.

Ce qu’il faut retenir

Les difficultés de l’annotation 3D se répartissent entre sparsité, occlusion et ambiguïté géométrique, et ces trois familles appellent des réponses différentes.Trois lectures se dégagent. Un seuil exprimé en nombre de points se transpose d’un capteur à l’autre là qu’un seuil en mètres ne vaut que pour l’équipement qui l’a produit. L’occlusion en 3D supprime l’information plutôt qu’elle ne la dégrade, ce qui est plus favorable qu’il n’y paraît puisqu’une absence se détecte et se déclare là qu’une donnée dégradée se confond avec une donnée valide. Et le point réfléchi par une surface polie est le défaut le plus dangereux, géométriquement valide et physiquement faux, donc indétectable par les contrôles de plausibilité ordinaires.Pour la conception d’un corpus sous ces contraintes, l’article consacré à la constitution d’un dataset 3D détaille la méthode. Pour le cadre général, le guide de l’annotation 3D pose le panorama.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous devez traiter des nuages épars ou fortement occultés, échangeons sur votre projet.