Ajouter la profondeur à un rectangle paraît une extension naturelle. C’est en réalité un changement de nature : le tracé cesse de décrire ce que l’image montre pour décrire ce que la scène contient, et rien dans une image plate ne permet de vérifier ce que l’on affirme.
Cet article expose ce passage. Il prolonge l’article consacré à la
pré-annotation.
Ce que le cuboïde ajoute
Cinq informations distinguent un cuboïde d’une bounding box plate.
La position de l’objet dans l’espace plutôt que dans l’image.
Ses dimensions réelles en unités physiques.
Son orientation autour de l’axe vertical.
Sa distance au capteur qui l’observe.
Et sa hauteur, absente de toute vue de dessus.
Une conséquence pratique importante en découle. Ces cinq informations décrivent la scène et non l’image, ce qui rend la vérification impossible sur une simple photographie et impose une source de données capable de mesurer la profondeur.
Ce que la profondeur exige comme donnée
Quatre sources permettent d’annoter en trois dimensions plutôt qu’en bounding box plate.
Un nuage de points issu d’un capteur télémétrique.
Une paire d’images prises de deux points de vue.
Une séquence dont le déplacement révèle le relief.
Et une image accompagnée d’une carte de profondeur.
Une observation importante en découle pour un projet de bounding box. La première source domine les usages sérieux, un nuage de points fournissant une mesure directe là où les autres reposent sur une reconstruction, ce qui déplace la difficulté vers la lecture d’une représentation à laquelle l’oeil n’est pas habitué.
Ce que le nuage de points impose
Cinq difficultés accompagnent cette représentation de la scène.
Aucune vue unique ne montre l’objet en entier.
La densité de points chute avec la distance.
Les surfaces arrière ne renvoient aucun point.
L’objet se devine souvent à partir de quelques dizaines de points.
Et le changement de vue devient une opération constante.
Une conséquence pratique s’ensuit. La deuxième difficulté explique une part importante des désaccords, un objet lointain n’étant décrit que par une poignée de points, ce qui rend ses dimensions largement inférées plutôt que mesurées.
Ce que la convention doit fixer
Six points se décident avant toute production de cuboïdes.
Le repère employé et son origine.
L’unité des dimensions et l’ordre des axes.
L’origine de l’angle de rotation et son sens.
Le traitement des objets partiellement observés.
La distance au-delà de laquelle un objet n’est plus annoté.
Et la façon de traiter un objet posé sur un plan incliné.
Une observation importante en découle pour un projet de bounding box. Le premier point produit les erreurs les plus coûteuses, deux repères différant par l’orientation d’un seul axe donnant des fichiers valides et des positions fausses, ce qui reproduit à l’échelle de la scène le défaut de conversion décrit pour les formats plats.
Ce que le contrôle doit devenir ici
Cinq dispositifs conviennent à un travail en trois dimensions.
Une relecture menée depuis plusieurs points de vue.
Une projection du cuboïde sur l’image caméra correspondante.
Une vérification de la cohérence des dimensions par classe.
Un contrôle de la position au sol des objets annotés.
Et une double annotation ventilée par tranche de distance.
Une conséquence pratique importante en découle pour un projet de bounding box. Le deuxième dispositif rend le contrôle abordable, un cuboïde correct se projetant exactement sur l’objet visible dans l’image alors qu’un cuboïde mal placé produit un décalage immédiatement perceptible, ce qui ramène une vérification spatiale à un examen plat.
Ce que la cadence devient ici
Cinq facteurs allongent le temps passé par objet en trois dimensions.
Le changement de vue nécessaire pour juger chaque face.
Le réglage de sept paramètres au lieu de quatre.
L’inférence des dimensions sur les faces non observées.
La vérification de la cohérence entre les vues.
Et la fatigue propre à la manipulation d’un espace.
Une conséquence pratique importante en découle pour un projet de bounding box. Ces cinq facteurs placent le coût d’un cuboïde plusieurs fois au-dessus de celui d’un rectangle, ce qui rend le choix de la troisième dimension nettement plus engageant que le passage du rectangle au polygone.
Aborder un projet en trois dimensions
Cinq questions cadrent un tel projet de bounding box.
La profondeur est-elle mesurée ou reconstruite. Cela change tout.
Le repère est-il documenté. Sinon les positions seront fausses.
Jusqu’à quelle distance annote-t-on. Les points se raréfient.
Les faces cachées sont-elles inférées. Une règle s’impose.
Et le contrôle sait-il juger un volume. La relecture plate ne suffit pas.
Ces cinq réponses déterminent la faisabilité du projet. Les poser avant la production évite un corpus dont personne ne saura vérifier la justesse.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.
Le tracé cesse de décrire l’image pour décrire la scène.
Trois constats la composent.
Aucune vue unique ne montre l’objet en entier.
Un objet lointain n’est décrit que par une poignée de points.
Et deux repères différant par un seul axe donnent des positions fausses.
Ce constat prolonge les chapitres précédents, l’annotation devenant une mesure plutôt qu’une désignation.
Les erreurs les plus fréquentes
- Traiter un cuboïde comme un rectangle doté d’une dimension de plus.
- Omettre de documenter le repère employé.
- Annoter au-delà de la distance où les points se raréfient.
- Laisser l’inférence des faces cachées à l’appréciation de chacun.
- Contrôler un volume par une simple relecture en vue de dessus.
- Chiffrer un cuboïde au tarif d’un rectangle majoré.
- Négliger la fatigue propre à la manipulation d’un espace.
- Confondre profondeur mesurée et profondeur reconstruite.
- Ignorer l’effet de la distance sur la fiabilité des dimensions.
- Supposer qu’un outil de tracé plat convient à ce travail.
Ce que la distance change à la fiabilité
Quatre effets accompagnent l’éloignement d’un objet.
Le nombre de points décrivant l’objet chute rapidement.
Les dimensions deviennent inférées plutôt que mesurées.
La classe elle-même devient parfois incertaine.
Et l’écart entre deux opérateurs augmente fortement.
Une observation importante en découle pour un projet de bounding box. Ces quatre effets imposent de ventiler toute mesure de qualité par tranche de distance, un taux global mêlant objets proches et lointains décrivant surtout la répartition des distances dans le corpus plutôt que la qualité du travail fourni.
Ce que l’inférence des faces cachées suppose
Quatre appuis permettent de compléter un objet partiellement observé.
La connaissance des dimensions usuelles de sa classe.
La symétrie supposée de l’objet autour de son axe.
Sa position au sol, qui fixe une des faces.
Et sa cohérence avec les images précédentes de la séquence.
Une conséquence pratique importante en découle pour un projet de bounding box. Le premier appui produit un effet ambigu, un opérateur complétant un objet d’après les dimensions habituelles de sa classe enseignant au système une régularité qui vient de la consigne plutôt que du monde, ce qui rend cette pratique utile pour la cohérence et trompeuse pour la mesure.
Trois décisions avant de produire
Trois décisions engagent un projet de cuboïdes en trois dimensions.
Documenter le repère, l’ordre des axes et le sens de rotation.
Fixer la distance au-delà de laquelle un objet n’est plus annoté.
Et écrire la règle d’inférence pour les faces non observées.
Ces trois décisions coûtent une demi-journée, elles précèdent la première scène, et leur absence produit un corpus dont les positions seront fausses sans que rien ne le signale.
La question qui cadre le passage
Une question détermine l’intérêt du cuboïde par rapport à la bounding box.
L’usage a-t-il besoin de savoir où se trouve l’objet ou seulement de savoir qu’il est là.
Savoir qu’il est là, détecter une présence ou compter des passages, se satisfait pleinement d’un rectangle et n’exige aucune mesure de profondeur.
Savoir où il se trouve, calculer une distance ou anticiper une trajectoire, exige un cuboïde et le coût correspondant.
Cette question relève de la décision que le système devra prendre, elle se pose avant toute acquisition, et elle sépare deux projets dont les budgets n’ont rien de comparable.
Trois vérifications sur un corpus en trois dimensions
Trois contrôles qualifient un jeu de cuboïdes déjà produit.
La documentation du repère et de l’ordre des axes.
La projection correcte des cuboïdes sur les images caméra.
Et la ventilation des mesures de qualité par tranche de distance.
Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence particulière, et leur absence indique un corpus dont personne ne peut affirmer que les positions sont justes.
Ce que le prestataire apporte ici
Quatre apports distinguent une prestation sérieuse en trois dimensions.
Un repère documenté et vérifié sur un premier lot.
Un seuil de distance fixé d’après la densité réelle des points.
Un contrôle par projection sur les images caméra.
Et des mesures de qualité ventilées par tranche de distance.
Une conséquence pratique importante en découle. Le deuxième apport protège les deux parties, un seuil fixé après examen du nuage évitant de facturer des objets dont les dimensions relèvent de l’invention, ce qui vaut mieux qu’un corpus étendu dont une part n’est pas exploitable.
Ce que l’outil de travail change ici
Cinq fonctions rendent ce travail praticable.
Un basculement rapide entre plusieurs points de vue.
Une projection permanente du cuboïde sur l’image caméra.
Un ajustement indépendant de chaque dimension.
Un calage automatique sur le plan du sol.
Et une propagation du cuboïde entre deux instants d’une séquence.
Une observation importante en découle pour un projet de bounding box. La quatrième fonction supprime une part importante du travail, la hauteur au sol se déduisant du plan détecté plutôt que d’un réglage manuel, ce qui retire un degré de liberté sans rien enlever à la description de l’objet.
Ce que la séquence ajoute ici
Quatre exigences apparaissent dès que les instants s’enchaînent.
Un objet conserve la même identité d’un instant au suivant.
Ses dimensions ne doivent pas varier au fil de la séquence.
Sa trajectoire doit rester physiquement plausible.
Et son orientation doit suivre son déplacement.
Une conséquence pratique importante en découle pour un projet de bounding box. La deuxième exigence fournit un contrôle presque gratuit, les dimensions d’un même objet devant rester constantes alors que rien dans le tracé ne l’impose, ce qui transforme toute variation observée en signal d’erreur sans qu’aucune annotation de référence soit nécessaire.
Ce que ce chapitre laisse au suivant
Le rectangle traverse tous ces déplacements sans jamais disparaître.
Trois questions restent ouvertes en bounding box.
Ce que les modèles récents changent au travail d’annotation.
Pourquoi ce format survit à des géométries plus riches.
Et ce qui restera à faire quand l’automatisation aura progressé.
Ces trois questions relèvent de la prospective, qui constitue l’objet du chapitre suivant.
Trois erreurs propres à la troisième dimension
Trois défauts tiennent au passage du rectangle au cuboïde.
Un repère non documenté produisant des positions systématiquement fausses.
Une annotation poursuivie au-delà de la distance exploitable.
Et un contrôle mené depuis une seule vue.
Ces trois défauts produisent des fichiers parfaitement valides, ils se révèlent lorsque les positions servent à décider, et leur point commun est de porter sur une information que l’image ne permet pas de vérifier.
Ce que le client doit fournir ici
Quatre éléments viennent du client plutôt que du prestataire.
La description du repère employé par sa chaîne de traitement.
Les paramètres reliant le capteur de profondeur aux caméras.
La distance maximale à laquelle son usage exige une détection.
Et la précision de position dont il a réellement besoin.
Une observation importante en découle pour un projet de bounding box. Le deuxième élément conditionne tout le contrôle, une projection du cuboïde sur l’image caméra devenant impossible sans ces paramètres, ce qui prive le projet du seul dispositif de vérification abordable décrit dans ce chapitre.
Ce que ce chapitre partage avec les précédents
Trois constats reviennent depuis le début du parcours.
Une convention de repère non écrite produit des données fausses et valides.
Une mesure globale masque un échec sur une population entière.
Et le défaut le plus coûteux reste celui qu’aucun examen ne révèle.
Une conséquence pratique importante en découle pour un projet de bounding box. Le premier constat se retrouve ici sous sa forme la plus lourde, un repère mal interprété déplaçant tous les objets d’une scène sans produire le moindre fichier invalide, ce qui prolonge à l’échelle du volume ce que la conversion de formats plats produisait déjà sur le plan.
Ce que ce format change à l’économie du projet
Quatre effets distinguent le budget d’un projet en trois dimensions.
Le coût par objet dépasse plusieurs fois celui d’un rectangle.
La formation d’un opérateur s’allonge de plusieurs semaines.
Le contrôle exige un dispositif spécifique et coûteux.
Et l’acquisition des données pèse elle-même sur le total.
Une observation importante en découle pour un projet de bounding box. Le dernier effet distingue nettement ce format des autres, l’annotation plate se contentant d’images déjà disponibles alors que la troisième dimension suppose une acquisition dédiée, ce qui déplace une part du budget en amont du travail d’annotation lui-même.
Ce que l’annotateur doit savoir ici
Cinq connaissances conditionnent un travail correct en trois dimensions.
La lecture d’un nuage de points et le choix des vues utiles.
L’ordre des gestes évitant les allers-retours entre paramètres.
La règle d’inférence applicable aux faces non observées.
La distance au-delà de laquelle un objet ne s’annote plus.
Et le réflexe de vérifier la projection avant de valider.
Une conséquence pratique importante en découle pour un projet de bounding box. La première connaissance demande plusieurs semaines et non quelques heures, la lecture d’un nuage de points ne s’acquérant que par la pratique, ce qui rend le remplacement d’un opérateur nettement plus coûteux que sur un travail plat.
Ce que le format de livraison exige ici
Cinq éléments accompagnent utilement un corpus de cuboïdes.
La définition du repère et l’orientation de chaque axe.
L’unité employée pour les dimensions et les positions.
La convention d’angle avec son origine et son sens.
Les paramètres reliant le capteur aux caméras.
Et le seuil de distance appliqué au corpus.
Une observation importante en découle pour un projet de bounding box. Le quatrième élément se néglige et prive le client d’un moyen de vérification, un corpus livré sans ces paramètres ne permettant plus de projeter les cuboïdes sur les images, ce qui rend toute reprise du contrôle impossible sans revenir vers le producteur.
Ce que ce sujet a de particulier
Quatre traits distinguent cette question des autres du parcours.
L’annotation décrit une mesure et non plus une désignation.
Aucune vue ne permet à elle seule de vérifier le résultat.
La donnée elle-même doit être acquise pour ce besoin.
Et la compétence de l’opérateur devient rare et longue à former.
Une conséquence pratique importante en découle pour un projet de bounding box. Ces quatre traits font du cuboïde un métier distinct plutôt qu’une variante, ce qui explique qu’un prestataire compétent en annotation plate ne le soit pas automatiquement en trois dimensions et justifie de le vérifier avant de confier ce type de projet.
Ce que le corpus doit couvrir ici
Cinq situations méritent une place explicite dans le corpus.
Des objets proches, entièrement décrits par les points.
Des objets à distance moyenne, partiellement observés.
Des objets proches du seuil de distance retenu.
Des objets partiellement masqués par d’autres.
Et des scènes comportant un sol non horizontal.
Une observation importante en découle pour un projet de bounding box. La dernière situation manque presque toujours, un corpus acquis sur terrain plat ne préparant pas aux pentes ni aux dévers, ce qui produit un système efficace en conditions de test et pris en défaut dès le premier relief rencontré.
Ce que le premier lot doit établir
Quatre résultats justifient un lot d’essai avant la production.
La densité de points constatée aux différentes distances.
Le temps réel passé sur une scène représentative.
L’écart de dimensions obtenu entre deux opérateurs.
Et la validité du repère vérifiée par projection.
Une conséquence pratique importante en découle pour un projet de bounding box. Le dernier résultat doit précéder tout le reste, un repère mal compris invalidant l’intégralité du travail produit ensuite, ce qui fait de cette vérification la toute première opération d’un projet en trois dimensions.
Trois questions à poser avant de s’engager
Trois questions précèdent l’acceptation d’un projet de cuboïdes.
Le repère et les paramètres de calibration sont-ils disponibles.
Jusqu’à quelle distance l’usage exige-t-il une détection fiable.
Et la densité de points y reste-t-elle suffisante.
Ces trois questions se posent avant le devis, elles demandent l’examen d’une scène réelle, et leur absence conduit à s’engager sur un travail dont une part sera de l’invention.
Ce que la bounding box conserve malgré tout
Quatre rôles subsistent pour le rectangle dans un projet en trois dimensions.
Il sert de première passe avant le placement du cuboïde.
Il décrit l’objet sur les images caméra qui accompagnent la scène.
Il permet un contrôle rapide par projection.
Et il suffit aux usages qui ignorent la profondeur.
Une observation importante en découle pour un projet de bounding box. Le deuxième rôle explique la coexistence durable des deux formats, une même scène étant décrite en volume pour la décision et en rectangles pour la vérification, ce qui fait du rectangle un compagnon du cuboïde plutôt qu’un format qu’il remplacerait.
Ce qu’il faut retenir
Le cuboïde décrit la scène là où le rectangle décrivait l’image.
Trois lectures se dégagent. Aucune vue unique ne montre l’objet en entier, ce qui rend le changement de vue constant et impose un contrôle capable de juger un volume plutôt qu’une projection. Un objet lointain n’est décrit que par une poignée de points, ce qui rend ses dimensions largement inférées plutôt que mesurées et impose un seuil de distance explicite. Et deux repères différant par l’orientation d’un seul axe donnent des fichiers valides et des positions fausses, ce qui reproduit à l’échelle de la scène le défaut de conversion des formats plats.
Pour la prospective du format, l’article consacré à l’
avenir de la bounding box détaille la démarche. Pour la mesure de qualité, l’article sur l’
IoU et les audits l’expose.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous préparez un projet de détection,
échangeons sur votre besoin.
