Cuboïdes 3D – annoter des objets pour la perception autonome

Le cuboïde est la représentation la plus employée en annotation 3D et la plus sous-estimée. Neuf valeurs paraissent simples à renseigner, et trois d’entre elles concentrent l’essentiel des désaccords entre annotateurs.Cet article expose ce que cette représentation demande. Il prolonge le guide de l’annotation 3D.

Ce qu’un cuboïde décrit

Neuf valeurs composent cette représentation d’annotation 3D.Elles ne posent pas la même difficulté.Trois coordonnées de centre, généralement les plus faciles à établir.Trois dimensions, longueur, largeur et hauteur, dont une au moins repose souvent sur une extrapolation.Et trois angles, dont un seul est fréquemment retenu lorsque les objets reposent au sol.Une conséquence pratique importante en découle. Les six dernières valeurs concentrent la difficulté, ce qui rend une convention sur les dimensions et l’orientation plus déterminante que le soin apporté au centrage en annotation 3D.

Pourquoi cette représentation domine

Quatre raisons expliquent l’adoption du cuboïde en annotation 3D pour la perception autonome.Elle fournit directement les grandeurs qu’un système de conduite exploite, position, encombrement et cap.Elle se pose rapidement, une boîte s’ajustant en quelques gestes là qu’une segmentation demande un travail par point.Elle permet des contrôles automatiques, une dimension aberrante se détectant sans examen humain.Et elle se compare aisément entre systèmes, le recouvrement volumique fournissant une métrique établie.Une observation en découle. La première raison explique la persistance de cette représentation malgré ses limites, un système de planification travaillant sur des encombrements plutôt que sur des formes exactes.

La convention d’orientation

Cette décision précède toute production en annotation 3D.Son omission produit un corpus inutilisable.L’axe principal d’un objet doit être défini par une règle plutôt que par intuition.Quatre éléments composent cette convention.La définition de l’avant pour chaque classe, un véhicule et un piéton n’appelant pas le même critère.Le sens de rotation et l’origine angulaire, deux conventions incompatibles produisant des valeurs opposées.Le traitement des objets sans avant défini, un poteau ou un bloc n’ayant pas d’orientation naturelle.Et la conduite à tenir lorsque l’avant n’est pas discernable dans la donnée.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Le dernier élément est le plus souvent omis, l’absence de règle conduisant chaque annotateur à deviner selon son intuition et produisant une erreur de cent quatre-vingts degrés sur une part des objets lointains.

Les dimensions et l’extrapolation

Cette difficulté est structurelle et se traite par convention.Un objet observé d’un seul côté ne fournit pas sa profondeur.Trois approches coexistent en annotation 3D.Ajuster la boîte aux seuls points observés, ce qui produit une dimension fidèle à la mesure et variable selon la position.Extrapoler jusqu’à une dimension typique de la classe, ce qui produit une taille stable et une part de convention.Et ajuster aux points observés en marquant la face extrapolée par un attribut.Une observation importante en découle. La troisième approche est la plus informative et la moins pratiquée, elle permet à l’exploitation aval de distinguer une mesure d’une estimation, distinction qu’aucune des deux premières ne conserve.

Ce que la classe apporte à la dimension

Cette propriété de l’annotation 3D n’a pas d’équivalent en images.Un objet d’une classe donnée a des dimensions physiques bornées et connues.Trois exploitations directes en découlent.L’extrapolation s’appuie sur une valeur typique plutôt que sur une estimation libre.Le contrôle automatique signale toute dimension hors de la plage attendue.Et l’annotateur dispose d’un repère, une boîte manifestement trop courte se corrigeant sans référence externe.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Ces trois exploitations supposent une table de plages dimensionnelles par classe, document d’une page qui améliore simultanément la cadence, la cohérence et le contrôle.

Comment un annotateur pose une boîte

Une méthode en quatre temps produit un cuboïde cohérent et elle s’enseigne rapidement.Isoler l’amas de points correspondant à l’objet, en s’aidant de la couleur projetée lorsqu’une image est disponible.Poser l’emprise au sol depuis une vue de dessus, geste qui fixe simultanément la position, deux dimensions et l’orientation.Ajuster la hauteur depuis une vue de côté, la troisième dimension se lisant mieux sur une projection latérale.Et vérifier en vue perspective, contrôle final qui révèle les points laissés hors de la boîte.Une conséquence pratique importante en découle. Le deuxième temps porte l’essentiel du travail en annotation 3D, la vue de dessus permettant de fixer quatre des neuf valeurs en un geste, ce qui explique l’écart de cadence entre un annotateur qui l’emploie et un annotateur qui reste en vue perspective.

Les objets qui résistent au cuboïde

Quatre configurations rendent cette représentation d’annotation 3D inadaptée.Les objets articulés, un semi-remorque en virage ne se décrivant pas par une boîte unique.Les objets non convexes, un vélo avec son cycliste incluant beaucoup de vide.Les objets déformables, une bâche ou un câble n’ayant pas de dimensions stables.Et les groupes compacts, une foule dense ne se découpant pas en boîtes individuelles fiables.Une observation en découle. La première configuration se traite par une convention explicite, décrire l’ensemble par une boîte ou chaque segment par la sienne, décision qui doit être prise avant la production et non au cas par cas.

Le cuboïde en séquence

Une exigence s’ajoute lorsque les scènes se suivent.Un objet observé sur plusieurs scènes doit conserver son identité et une dimension cohérente.Trois conséquences en découlent.Les dimensions doivent rester constantes le long d’une piste, un objet rigide ne changeant pas de taille.La trajectoire doit être physiquement plausible, un saut de position signalant une erreur d’identité.Et l’orientation doit varier continûment, un renversement brutal signalant une ambiguïté avant-arrière mal tranchée.Une conséquence pratique importante en découle. La première conséquence fournit un contrôle très efficace, une dimension variable le long d’une piste étant impossible physiquement et détectable automatiquement en annotation 3D.

Ce que la distance change

Quatre effets accompagnent l’éloignement et ils se cumulent.Le nombre de points chute, ce qui réduit l’information disponible.La classe devient incertaine, une silhouette de quelques points pouvant correspondre à plusieurs catégories.L’orientation devient indéterminable, l’avant n’étant plus discernable.Et la dimension repose entièrement sur l’extrapolation.Une observation importante en découle pour un projet d’annotation 3D. Ces quatre effets justifient une exigence différenciée par tranche de distance plutôt qu’une exigence unique, un objet proche et un objet lointain n’étant pas décrits avec la même certitude.

Le contrôle qualité d’un corpus de cuboïdes

Six vérifications d’annotation 3D exploitent les propriétés de cette représentation.La plausibilité dimensionnelle par classe, contrôle le plus économique et le plus révélateur.Le nombre de points contenus, une boîte quasi vide signalant une annotation sans support.La position par rapport au sol, un objet flottant ou enfoncé signalant une erreur.La non-intersection entre objets solides.La constance dimensionnelle le long d’une piste.Et la continuité angulaire, qui détecte les renversements d’orientation.Une conséquence pratique s’ensuit. Ces six contrôles se programment une fois et s’exécutent sur tous les lots, ce qui en fait le meilleur rapport entre effort de mise en place et défauts détectés.

Ce que ce travail coûte

Quatre facteurs déterminent la charge par objet en annotation 3D.La densité de points sur l’objet, un nuage épars ralentissant la décision autant qu’un nuage dense facilite l’ajustement.L’exigence sur l’orientation, une tolérance serrée demandant plusieurs points de vue.Le nombre d’attributs demandés, occlusion et état s’ajoutant à la géométrie.Et la continuité temporelle lorsque les scènes forment une séquence.Une observation en découle. Le premier facteur produit une variation contre-intuitive, un objet lointain coûtant plus cher qu’un objet proche alors qu’il porte moins d’information, ce qui plaide pour un seuil de distance chiffré.

Ce que la pré-annotation apporte ici

Trois observations situent l’apport de l’assistance sur cette tâche d’annotation 3D.La proposition de boîtes sur les classes courantes fonctionne bien, ces objets étant abondants dans les corpus publics.L’ajustement fin des faces reste humain, un modèle produisant une boîte plausible plutôt que juste.Et l’orientation est le point faible, un modèle reproduisant les ambiguïtés avant-arrière plutôt que les résolvant.Une conséquence pratique en découle pour un projet d’annotation 3D. Ces trois observations conduisent à une répartition claire, l’assistance propose la présence et la classe, l’humain valide l’orientation et ajuste les faces extrapolées.

Aborder un projet de cuboïdes

Cinq questions cadrent ce type de projet d’annotation 3D.Quelle définition de l’avant pour chaque classe. Cette réponse conditionne la cohérence du corpus.Les faces non vues sont-elles extrapolées. Cette réponse détermine la comparabilité des dimensions.Quelle distance maximale est retenue. Cette réponse borne le volume et le coût.Les scènes forment-elles une séquence. Une réponse positive ajoute des contrôles et des exigences.Et une table de plages dimensionnelles existe-t-elle. Son absence prive le projet du contrôle le plus efficace.Ces cinq réponses déterminent la charge et la cohérence du résultat. Les poser avant de commencer évite un corpus dont les dimensions ne sont pas comparables entre elles.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen.Le cuboïde paraît simple et concentre la difficulté sur trois de ses neuf valeurs.Trois constats la composent.L’orientation est la grandeur la plus fragile, elle n’a pas d’équivalent en annotation d’images et son ambiguïté produit des erreurs de cent quatre-vingts degrés indétectables visuellement.Les dimensions reposent partiellement sur une extrapolation, ce qui en fait une convention déguisée en mesure.Et les plages dimensionnelles par classe transforment ces deux faiblesses en contrôles, la physique bornant ce qu’une annotation peut affirmer.Ce constat rejoint celui que les séries précédentes ont établi à propos des contraintes structurelles : lorsqu’une donnée porte une régularité indépendante du contenu annoté, elle sert autant à vérifier qu’à produire.

Les erreurs les plus fréquentes

• Ne pas définir l’avant de chaque classe avant la production.
• Omettre la règle applicable lorsque l’orientation n’est pas discernable.
• Extrapoler les faces non vues sans le marquer par un attribut.
• Employer deux conventions angulaires incompatibles dans un même corpus.
• Décrire un objet articulé par une boîte unique sans convention explicite.
• Négliger la table de plages dimensionnelles par classe.
• Exiger la même précision d’orientation à toutes les distances.
• Omettre le contrôle de constance dimensionnelle le long d’une piste.
• Accepter une proposition de modèle sans vérifier l’orientation.
• Annoter au delà d’une distance où la classe n’est plus déterminable.

Les attributs qui accompagnent un cuboïde

Cinq attributs se rencontrent et leur coût diffère fortement.La classe, renseignée une fois par objet et de coût négligeable.Le niveau d’occlusion, qui indique si la boîte repose sur une observation partielle.La confiance sur l’orientation, qui distingue une valeur observée d’une valeur devinée.L’état de mouvement, immobile ou en déplacement, qui suppose de comparer plusieurs scènes.Et l’identifiant de piste, lorsque les scènes forment une séquence.Une observation en découle pour un projet d’annotation 3D. Les deuxième et troisième attributs coûtent un clic et transforment un corpus, ils permettent à un utilisateur d’écarter les objets mal observés pendant l’entraînement plutôt que d’apprendre à partir d’estimations présentées comme des mesures.

Mesurer le désaccord sur les cuboïdes

Une opération quantifie ce qui peut être promis et elle se conduit sur quelques scènes.Deux annotateurs formés traitent les mêmes scènes et leurs boîtes se comparent.Quatre informations exploitables en découlent en annotation 3D.L’accord sur la présence des objets, qui mesure les omissions réciproques par tranche de distance.L’écart de position du centre, généralement faible et rarement problématique.L’écart dimensionnel, dont l’ampleur dépend directement de la convention d’extrapolation retenue.Et le taux de désaccord sur l’orientation, qui inclut les inversions complètes.Une conséquence pratique importante en découle. Le quatrième indicateur doit être rapporté séparément des écarts angulaires modestes, une inversion de cent quatre-vingts degrés et une erreur de cinq degrés relevant de causes différentes et appelant des corrections différentes en annotation 3D.

Ce que le système aval attend

Quatre usages exploitent un cuboïde et leurs exigences diffèrent nettement.L’évitement d’obstacle, qui a besoin d’une emprise et se satisfait d’une orientation approximative.La prédiction de trajectoire, qui repose sur le cap et exige une orientation précise.La planification de manœuvre, qui a besoin de dimensions justes plutôt que prudentes.Et l’évaluation de conformité, qui exige de savoir quelles valeurs sont mesurées et quelles valeurs sont estimées.Une observation en découle pour un projet d’annotation 3D. Ces quatre usages appellent des tolérances différentes sur les mêmes neuf valeurs, ce qui rend une exigence unique appliquée à tout un corpus soit trop lâche pour le deuxième usage soit trop coûteuse pour le premier.

Les classes d’une nomenclature routière

Quatre décisions de nomenclature reviennent dans ce vertical et elles se tranchent au cadrage.Le niveau de détail sur les véhicules, une classe unique ou une distinction entre voiture, utilitaire, poids lourd et deux-roues.Le traitement du cycliste, une boîte englobant la personne et son vélo ou deux objets distincts.La distinction entre objets mobiles et éléments fixes, mobilier urbain et végétation relevant souvent d’un traitement séparé.Et la classe résiduelle, indispensable pour les objets présents et non prévus.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. La deuxième décision produit le désaccord le plus fréquent, l’ensemble formé par une personne et son vélo changeant de dimensions selon qu’elle roule ou pousse son engin, ce qui appelle une règle plutôt qu’un jugement au cas par cas.

Le premier lot d’un projet de cuboïdes

Quatre scènes composent un lot pilote qui éprouve réellement les conventions.Une scène de circulation ordinaire, qui fournit la cadence de référence et le nombre d’objets moyen.Une scène contenant des objets à la limite de distance retenue, qui vérifie que le seuil est bien placé.Une scène avec un objet articulé ou un cycliste, qui éprouve les conventions de nomenclature les plus fragiles.Et une scène où plusieurs objets sont partiellement masqués, qui teste la règle d’extrapolation.Une observation en découle. Ces quatre scènes se traitent en une matinée, elles fournissent la cadence réelle et le désaccord sur l’orientation, et leur absence explique la plupart des écarts entre un chiffrage et une production en annotation 3D.

Les conventions à écrire en premier

Cinq règles couvrent l’essentiel des désaccords sur cette représentation.La définition de l’avant pour chaque classe, exprimée par un critère observable.La conduite à tenir lorsque l’avant n’est pas discernable, marquage plutôt que supposition.La règle d’extrapolation des faces non vues, avec l’attribut qui la signale.Le traitement des objets articulés et des ensembles personne plus engin.Et le nombre minimal de points en dessous duquel un objet n’est pas annoté.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Ces cinq règles tiennent sur une page, elles se rédigent en une heure à partir du lot pilote, et elles suppriment la majorité des reprises qu’un corpus subit autrement en cours de production.

Le cuboïde au sol et la pente

Une hypothèse implicite mérite d’être exposée car elle échoue dans certains contextes.La plupart des projets retiennent un seul angle de rotation, en supposant les objets posés sur un plan horizontal.Trois situations invalident cette hypothèse.Le terrain en pente, une route montante inclinant tous les véhicules par rapport au repère du capteur.Le dévers, qui incline latéralement et fausse la mesure de hauteur.Et les objets non posés, une charge suspendue ou un panneau en surplomb n’ayant aucun contact avec le sol.Une conséquence pratique en découle pour un projet d’annotation 3D. Ces trois situations demandent de décider si les deux angles supplémentaires sont annotés ou ignorés, décision qui doit être prise au cadrage puisqu’un corpus produit avec un seul angle ne se complète pas ensuite.

La question qui cadre un projet de cuboïdes

Une question détermine la tolérance à retenir et elle porte sur l’usage.Le système aval a-t-il besoin de savoir où va l’objet ou seulement où il est.Une réponse orientée présence, évitement et comptage, tolère une orientation approximative et place le projet dans le régime le plus économique.Une réponse orientée mouvement, prédiction de trajectoire, exige une orientation précise et une continuité angulaire sur les séquences.Cette question se pose en une phrase, elle détermine la grandeur sur laquelle porte l’exigence, et elle évite d’appliquer à tout un corpus une tolérance que seule une part des usages justifiait.

Ce que le corpus vaudra ensuite

Quatre propriétés déterminent si un corpus de cuboïdes reste exploitable au delà de son projet initial.La déclaration explicite de la convention d’axes et du sens de rotation, sans laquelle aucune combinaison avec un autre corpus n’est possible.La présence des attributs d’occlusion et de confiance, qui permettent de filtrer plutôt que de tout reprendre.La conservation des nuages sources, une annotation séparée de sa donnée perdant toute valeur.Et la table des plages dimensionnelles employée, qui documente les extrapolations pratiquées.Une observation en découle. Ces quatre propriétés coûtent peu au moment de la constitution et ne s’ajoutent pas après, ce qui les place dans la même catégorie que les conventions exposées plus haut.

Trois vérifications avant de livrer

Trois contrôles suffisent à écarter la majorité des défauts d’un lot de cuboïdes.Passer la table de plages dimensionnelles, qui signale les boîtes trop petites du côté non observé.Compter les points contenus dans chaque boîte, une boîte vide signalant une annotation sans support.Et repérer les renversements d’orientation le long des pistes, qui trahissent une ambiguïté avant-arrière mal tranchée.Ces trois contrôles s’exécutent sur un export livré, ils ne demandent aucune référence externe, et ils couvrent ce qui distingue un corpus de cuboïdes exploitable d’un corpus visuellement acceptable.

Ce qu’il faut retenir

Le cuboïde décrit un objet par neuf valeurs dont six concentrent la difficulté, les dimensions et l’orientation.Trois lectures se dégagent. La règle applicable lorsque l’avant n’est pas discernable est la convention la plus souvent omise, son absence produisant des erreurs de cent quatre-vingts degrés sur une part des objets lointains. Marquer les faces extrapolées par un attribut permet à l’exploitation aval de distinguer une mesure d’une estimation, distinction qu’aucune autre approche ne conserve. Et la table de plages dimensionnelles par classe tient sur une page et améliore simultanément la cadence, la cohérence et le contrôle.Pour la formulation qui décrit la forme plutôt que l’encombrement, l’article consacré à la segmentation de nuages de points en expose les conditions. Pour le cadre général, le guide de l’annotation 3D pose le panorama.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous devez faire annoter des cuboïdes sur des nuages de points, échangeons sur votre projet.