Annotation 3D – le guide complet

La troisième dimension change la nature de l’annotation. Un objet n’a plus un contour dans une image, il occupe un volume dans un espace, et cette bascule modifie les représentations, les outils, les difficultés et le coût.Cet article pose le panorama de l’annotation 3D et sert de point d’entrée à ce cluster.

Ce que la donnée 3D recouvre

Quatre représentations coexistent et leur confusion produit des malentendus au cadrage.Le nuage de points, ensemble de coordonnées mesurées, sans structure ni surface entre elles.Le maillage, surface reconstruite à partir de points et portant une continuité que le nuage n’a pas.La grille volumique, espace découpé en cellules dont chacune porte une valeur.Et l’image de profondeur, image ordinaire dont chaque pixel porte une distance plutôt qu’une couleur.Une conséquence pratique importante en découle. Ces quatre représentations n’appellent pas les mêmes outils ni les mêmes conventions, ce qui rend la question du format préalable à toute discussion d’annotation 3D.

Ce qui distingue la 3D de l’image

Cinq propriétés changent le travail par rapport à une annotation en deux dimensions.L’objet occupe un volume, ce qui remplace un rectangle par une boîte orientée dans l’espace.La densité varie fortement avec la distance, un objet proche portant des milliers de points et un objet lointain quelques dizaines.L’occlusion est géométrique et non picturale, ce qui la rend prévisible à partir de la position du capteur.La navigation demande un déplacement de point de vue, opération plus coûteuse qu’un défilement d’images.Et les mesures sont métriques, une distance annotée correspondant à une distance réelle.Une observation importante en découle. La dernière propriété est la plus structurante, l’annotation 3D produisant une mesure plutôt qu’une désignation, ce qui rend la précision vérifiable par des contraintes physiques.

Les tâches d’annotation 3D

Cinq familles se rencontrent et leur coût varie dans un rapport important.Le cuboïde, boîte orientée entourant un objet, tâche la plus fréquente en perception autonome.La segmentation par point, où chaque point reçoit une étiquette de classe.La segmentation d’instance, qui distingue en outre les objets d’une même classe.Les points de repère, positions remarquables sur un objet ou une structure.Et le suivi 3D, qui ajoute la persistance d’identité entre acquisitions successives.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Le passage du premier au deuxième niveau multiplie la charge dans un rapport considérable, ce qui rend le choix de la représentation plus déterminant que le nombre de classes.

D’où vient la donnée

Quatre sources produisent des nuages de points et leurs propriétés diffèrent nettement.Le LiDAR, qui mesure une distance par temps de vol et produit une géométrie précise sans couleur native.La photogrammétrie, qui reconstruit une géométrie à partir d’images et porte la couleur nativement.Les capteurs de profondeur à courte portée, employés en intérieur et en robotique.Et le radar, dont la résolution est faible et la robustesse aux conditions élevée.Une observation en découle. Ces quatre sources ne produisent pas la même chose, une géométrie précise sans texture et une texture riche sur une géométrie approximative n’appelant ni les mêmes tâches ni les mêmes annotateurs en annotation 3D.

Le cuboïde et ce qu’il demande

Une représentation domine les projets de perception et ses paramètres méritent d’être posés.Un cuboïde se décrit par une position, trois dimensions et une orientation.Trois difficultés l’accompagnent.L’orientation est ambiguë sur les objets symétriques, un véhicule vu de derrière pouvant recevoir deux orientations opposées.Les dimensions se déduisent mal lorsqu’une face n’est pas observée, la partie cachée étant estimée.Et la convention d’ajustement varie, une boîte serrée sur les points visibles et une boîte englobant l’objet réel donnant des résultats différents.Une conséquence pratique importante en découle. La troisième difficulté est la plus déterminante et la moins souvent tranchée, deux corpus appliquant des conventions opposées n’étant pas combinables sans retraitement.

Ce que la densité change

Une propriété physique borne ce qui est annotable et elle est souvent découverte tardivement.Un capteur produit un nombre de points décroissant avec la distance.Quatre conséquences en découlent.Un objet lointain se réduit à quelques points, ce qui rend sa classe incertaine et ses dimensions estimées.La performance varie fortement avec la distance, une même méthode étant excellente en champ proche et médiocre au loin.Le coût par objet croît avec l’éloignement, un objet peu échantillonné demandant plus de jugement.Et la comparaison entre corpus devient trompeuse si la distribution de distances diffère.Une observation importante en découle pour un projet d’annotation 3D. Ces quatre conséquences justifient de fixer une distance maximale d’annotation et de la déclarer, plutôt que d’annoter jusqu’à la limite de ce qui est devinable.

Ce que l’occlusion devient en 3D

Une difficulté connue change de nature et cette différence est exploitable.Un objet masqué par un autre ne reçoit aucun point sur sa face cachée.Trois propriétés en découlent.L’occlusion est déductible de la géométrie, la position du capteur permettant de calculer ce qui est visible.Le taux d’occlusion se chiffre plutôt qu’il ne s’apprécie, ce qui remplace un jugement par une mesure.Et un objet peut être partiellement observé de façon utile, quelques points suffisant à établir une présence.Une conséquence pratique s’ensuit. La deuxième propriété permet un attribut d’occlusion calculé plutôt que saisi, ce qui améliore la cohérence et supprime une charge d’annotation 3D.

Les conventions à écrire

Six décisions couvrent l’essentiel des désaccords et elles s’écrivent avant la production.Le nombre minimal de points pour qu’un objet soit annoté.La distance maximale d’annotation.La convention d’ajustement du cuboïde, points visibles ou objet estimé.La définition de l’orientation, notamment pour les objets symétriques.Le traitement du sol et des points au contact d’un objet.Et l’attribution des points ambigus entre deux objets proches en segmentation.Une observation importante en découle. La première décision est la plus économique et la plus efficace, un seuil chiffré supprimant la principale source de désaccord entre annotateurs sur les objets lointains.

L’orientation, difficulté propre à la 3D

Une grandeur n’a pas d’équivalent en annotation d’images.Un cuboïde doit indiquer dans quelle direction l’objet est tourné.Trois difficultés en découlent.L’ambiguïté avant-arrière, un véhicule vu de côté ne révélant pas son sens lorsque la donnée est trop éparse.La convention de référence, l’axe principal d’un objet devant être défini par une règle plutôt que laissé à l’intuition.Et la précision attendue, une erreur de quelques degrés passant inaperçue visuellement et affectant fortement une prédiction de trajectoire.Une observation importante en découle pour un projet d’annotation 3D. La première difficulté justifie un attribut de confiance sur l’orientation, faute de quoi une valeur devinée devient indiscernable d’une valeur observée.

Ce que la fusion avec l’image apporte

Une configuration fréquente combine deux sources et elle mérite d’être située.Une caméra calibrée avec le capteur de distance fournit la couleur et la texture qui manquent au nuage.Trois apports en découlent.La classification devient plus fiable, un objet ambigu en géométrie étant souvent évident en image.Les objets lointains restent identifiables, l’image conservant une résolution que le nuage a perdue.Et la vérification est facilitée, un contrôleur retrouvant en image ce qu’il ne distingue pas dans les points.Une conséquence pratique s’ensuit. Cette configuration ajoute une exigence, la calibration et la synchronisation entre capteurs devenant une condition de validité du corpus plutôt qu’un détail technique.

Ce que l’annotation 3D coûte

Cinq facteurs déterminent la charge et ils ne se réduisent pas au nombre d’objets.La représentation retenue, un cuboïde et une segmentation par point différant d’un ordre de grandeur.Le nombre d’objets par acquisition.La densité du nuage, qui détermine le temps de navigation autant que la précision atteignable.La persistance d’identité, qui ajoute un poste entier lorsque les acquisitions se suivent.Et les attributs demandés, orientation fine et état d’occlusion notamment.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Le premier facteur domine tous les autres, ce qui rend la question de la représentation nécessaire à l’usage aval plus rentable que toute optimisation de production.

Ce que l’outillage doit permettre

Six fonctions distinguent un outil 3D d’un outil d’images adapté.La navigation fluide dans un nuage dense, sans laquelle le travail devient impraticable.Les vues auxiliaires, dessus et côté, qui permettent d’ajuster une dimension avec précision.L’affichage synchronisé de l’image caméra lorsqu’elle existe.La propagation d’un cuboïde entre acquisitions successives.La sélection par région et par classe en segmentation.Et l’export conservant les paramètres du capteur et le repère employé.Une observation en découle. La deuxième fonction est la plus déterminante pour la précision, une dimension s’ajustant bien mieux sur une vue orthogonale que dans une perspective.

Ce que le contrôle qualité exploite

Quatre vérifications sont propres à la 3D et elles reposent sur des contraintes physiques.La plausibilité dimensionnelle, une classe d’objet ayant une taille contrainte.La cohérence avec le sol, un objet flottant ou enfoncé signalant une erreur de position.L’absence de chevauchement entre cuboïdes d’objets solides.Et la cohérence entre le nombre de points contenus et le taux d’occlusion déclaré.Une conséquence pratique importante en découle. Ces quatre contrôles s’exécutent automatiquement et sans référence, la géométrie fournissant des contraintes qu’une image ne fournit pas, ce qui rend le contrôle en annotation 3D plus puissant qu’en deux dimensions.

Aborder un projet 3D

Cinq questions cadrent ce type de projet.Quelle représentation l’usage aval exige-t-il. Cette réponse détermine le coût dans un rapport important.Quelle source produit la donnée. Cette réponse détermine la précision géométrique disponible.Quelle distance maximale sera annotée. Son absence produit un travail sans valeur sur les objets lointains.La persistance d’identité est-elle nécessaire. Une réponse négative supprime un poste entier.Et quel repère et quelle calibration accompagnent les données. Leur absence rend une fusion ultérieure impossible.Ces cinq réponses déterminent la charge et la faisabilité. Les poser avant de commencer évite un corpus dont la représentation ne correspond pas à l’usage.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore ce panorama.La troisième dimension ajoute du coût et fournit en retour des contraintes exploitables.Trois constats la composent.La navigation et le volume à parcourir renchérissent le travail par rapport à une image.La géométrie fournit des contraintes physiques qui rendent une part des contrôles automatique et une part des attributs calculable.Et les mesures étant métriques, la qualité se vérifie contre le monde plutôt que contre un jugement.Ce constat rejoint celui que les séries précédentes ont établi à propos des données portant une régularité indépendante du contenu annoté : cette régularité sert autant à vérifier qu’à produire.

Les erreurs les plus fréquentes

• Discuter d’annotation 3D sans avoir précisé la représentation des données.
• Demander une segmentation par point là où un cuboïde suffisait.
• Ne pas fixer de nombre minimal de points par objet annoté.
• Omettre la distance maximale d’annotation.
• Laisser la convention d’ajustement du cuboïde implicite.
• Négliger la définition de l’orientation sur les objets symétriques.
• Saisir manuellement un taux d’occlusion que la géométrie permet de calculer.
• Livrer sans les paramètres du capteur ni le repère employé.
• Comparer deux corpus dont les distributions de distances diffèrent.
• Choisir un outil d’images adapté plutôt qu’un outil 3D.

Les domaines d’application

Cinq secteurs demandent régulièrement ce type de travail.La conduite autonome et l’assistance à la conduite, principal moteur historique du domaine.La robotique et la logistique, où la manipulation exige une description volumique.Le bâtiment et l’infrastructure, où le relevé alimente une maquette numérique.L’agriculture et la forêt, où la structure des végétaux se mesure en volume.Et le médical, où l’imagerie volumique relève d’une logique voisine avec des contraintes propres.Une observation en découle pour un prestataire d’annotation 3D. Les deuxième et troisième secteurs progressent avec des volumes plus abordables que le premier, ce qui les rend accessibles sans exiger l’échelle des grands programmes automobiles.

Ce qui ne se résout pas

Quatre limites bornent ce que l’annotation 3D peut établir.Ce qui n’a pas été échantillonné n’existe pas, l’occlusion supprimant l’information plutôt que de la masquer.Un objet trop lointain reste inclassable quel que soit l’effort consenti.Une surface réfléchissante ou transparente produit des points erronés ou absents.Et deux objets en contact peuvent être indissociables dans la géométrie seule.Cette première limite mérite d’être soulignée. Elle signifie qu’une exigence de dimension complète sur un objet vu d’une seule face demande une extrapolation, ce qui doit être déclaré comme convention plutôt que présenté comme une mesure.

Les formats d’échange

Quatre décisions de format engagent l’exploitation d’un corpus d’annotation 3D.La représentation du nuage lui-même, les formats courants différant sur la présence d’intensité, de couleur et d’horodatage par point.La convention de repère, l’origine et l’orientation des axes devant être déclarées et non supposées.La représentation des cuboïdes, les paramètres d’orientation admettant plusieurs conventions incompatibles.Et le lien vers les images associées, avec les paramètres de calibration qui permettent la projection.Une observation importante en découle. La deuxième décision produit l’erreur la plus fréquente et la plus coûteuse, deux corpus employant des conventions d’axes différentes paraissant compatibles jusqu’à ce qu’un modèle entraîné sur l’un échoue entièrement sur l’autre.

Le lot pilote d’un projet 3D

Quatre scènes composent un lot pilote représentatif en annotation 3D.Une scène de densité ordinaire, qui fournit la cadence de référence.Une scène contenant des objets lointains, qui éprouve le seuil de distance retenu.Une scène avec occlusions mutuelles, qui teste la convention d’extrapolation des faces non vues.Et une scène contenant une surface problématique, vitrage ou métal poli, qui vérifie la conduite à tenir sur les points aberrants.Une conséquence pratique s’ensuit. Ces quatre scènes représentent quelques minutes de travail, elles produisent l’essentiel des désaccords qui apparaîtraient autrement en production, et leur absence explique la plupart des écarts entre une cadence annoncée et une cadence observée.

Ce que l’annotateur doit pouvoir faire

Cinq possibilités conditionnent la qualité du travail en annotation 3D.Naviguer librement autour de la scène, une orientation ne se jugeant pas depuis un point de vue unique.Basculer entre vue perspective et vues orthogonales, la seconde permettant d’ajuster une dimension avec précision.Visualiser simultanément le nuage et l’image projetée lorsqu’une caméra est disponible.Ajuster une face du cuboïde indépendamment des autres, une extrapolation ne portant que sur la face non vue.Et marquer une décision incertaine sans interrompre son travail.Une conséquence pratique s’ensuit. La deuxième possibilité est la plus déterminante pour la cadence, une vue de dessus permettant de poser l’emprise au sol et l’orientation en un geste là où une vue perspective demande plusieurs ajustements successifs.

Comparer deux propositions

Six questions rendent deux offres d’annotation 3D comparables.Quelle géométrie par classe, cuboïde, polygone au sol ou segmentation par point.Quelle distance maximale d’annotation est retenue.L’orientation fait-elle partie du périmètre et avec quelle tolérance.Les faces non vues doivent-elles être extrapolées ou laissées ouvertes.Le contrôle de plausibilité figure-t-il comme ligne distincte.Et le corpus d’évaluation est-il inclus.Une observation en découle. La deuxième question est celle dont les réponses divergent le plus entre prestataires, une distance maximale généreuse gonflant le volume d’objets d’une part importante sans améliorer un système qui ne les exploitera pas.

Ce que ce cluster va examiner

Quatorze chapitres prolongent ce panorama et ils se répartissent en quatre ensembles.Les représentations, cuboïdes et segmentation de nuages, qui exposent ce que chaque formulation demande.Les verticaux, robotique et logistique, forêt et agriculture, bâtiment et infrastructure, où les conventions diffèrent selon l’usage.Les questions de méthode, capteurs, fusion, outillage, coût, qualité, difficultés, constitution de corpus et pré-annotation.Et une lecture prospective, qui distingue ce qui est engagé de ce qui reste incertain. Le chapitre consacré aux coûts de l’annotation 3D détaille pour sa part les postes d’un budget.Une observation en découle. Chacun de ces chapitres examine une facette du déplacement posé ici, la mesure métrique offrant des contrôles inédits pendant que l’absence de repères visuels rend la décision de classe plus difficile qu’en annotation d’images.

La question qui cadre un projet 3D

Une question détermine le coût avant toute autre considération.Le système aval a-t-il besoin de savoir où est un objet ou de savoir quelle forme il a.Une réponse orientée position, détection et suivi d’obstacles, se satisfait d’un cuboïde et place le projet dans le régime le plus économique.Une réponse orientée forme, manipulation ou mesure de volume, exige une segmentation par point et multiplie la charge.Cette question se pose en une phrase, elle relève de l’usage et non de la technique, et elle produit l’écart de budget le plus important d’un projet d’annotation 3D.

Trois décisions avant le premier lot

Trois décisions engagent la totalité de la dépense d’un projet d’annotation 3D.Choisir la géométrie par classe, ce qui sépare un projet économique d’un projet plusieurs fois plus lourd.Fixer la distance maximale d’annotation, ce qui borne le volume d’objets sans réduire l’utilité.Et écrire la convention d’extrapolation des faces non vues, ce qui rend les dimensions comparables entre annotateurs.Ces trois décisions coûtent une réunion, elles précèdent la première scène, et leur absence produit un corpus dont les dimensions ne sont ni reproductibles ni vérifiables.

Ce qu’il faut retenir

L’annotation 3D produit une mesure plutôt qu’une désignation, ce qui change les représentations, les conventions et les moyens de vérification.Trois lectures se dégagent. Le choix de la représentation domine tous les autres facteurs de coût, une segmentation par point et un cuboïde différant d’un ordre de grandeur sur la même donnée. La densité décroît avec la distance, ce qui justifie de fixer une distance maximale d’annotation et un nombre minimal de points plutôt que d’annoter jusqu’à la limite du devinable. Et la géométrie fournit des contraintes physiques qui rendent le contrôle automatique plus puissant qu’en deux dimensions, la taille d’un objet et son contact avec le sol se vérifiant sans référence.Pour la tâche la plus fréquente de ce domaine, l’article consacré aux cuboïdes 3D détaille la méthode. Pour la représentation la plus exigeante, l’article sur la segmentation de nuages de points expose ce qu’elle demande.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous devez faire annoter des données tridimensionnelles, échangeons sur votre projet.