Cinq évolutions modifient actuellement la perception tridimensionnelle. Aucune ne supprime le travail d’annotation, et la plus significative d’entre elles l’augmente plutôt qu’elle ne le réduit.Cet article les examine. Il prolonge l’article consacré à la pré-annotation automatique en 3D.
La baisse du coût des capteurs
Cette évolution matérielle domine les autres par ses effets sur l’annotation 3D.Les capteurs de distance deviennent accessibles à des équipements qui n’en portaient pas.Trois conséquences en découlent pour l’annotation 3D.Le nombre de projets augmente nettement, des usages qui se contentaient d’images passant désormais à la mesure.Les capteurs bon marché produisent des nuages plus épars et plus bruités que les équipements professionnels.Et la diversité des matériels s’accroît fortement, ce qui rend les corpus moins transposables d’un équipement à l’autre.Une observation importante en découle. La deuxième conséquence va à l’encontre de l’intuition, la démocratisation du matériel produisant davantage de données difficiles plutôt que davantage de données faciles.Les capteurs solides
Cette évolution technique modifie la géométrie des acquisitions.Les capteurs sans pièce mobile remplacent progressivement les mécanismes rotatifs.Quatre conséquences en découlent pour un projet d’annotation 3D.Le champ de vue devient partiel, ce qui impose plusieurs capteurs pour une couverture complète.La distribution des points cesse d’être régulière, certains motifs concentrant la densité au centre.La déformation par balayage disparaît sur les porteurs rapides, ce qui simplifie la synchronisation.Et les artefacts caractéristiques changent de nature, ce qui invalide une part de l’expérience acquise.Une conséquence pratique s’ensuit. La deuxième conséquence est la plus déstabilisante en annotation, un seuil de sparsité exprimé en distance cessant de valoir uniformément lorsque la densité dépend de la position dans le champ.Les représentations neuronales de scène
Cette évolution algorithmique attire l’attention.Son effet sur l’annotation 3D est indirect.Des méthodes reconstruisent une scène continue à partir de vues multiples.Trois observations situent ces méthodes en annotation 3D.Elles produisent une reconstruction visuellement convaincante à partir d’images seules.La géométrie obtenue est estimée et non mesurée, ce qui la prive d’échelle absolue.Et la qualité dépend fortement du nombre de vues et de leur répartition autour de la scène.Une observation importante en découle pour un projet d’annotation 3D. La deuxième observation reproduit exactement la distinction entre mesure et estimation exposée à propos de la photogrammétrie, ce qui rend ces méthodes séduisantes visuellement et impropres aux usages métrologiques.Les modèles de segmentation généralistes
Cette évolution touche directement l’outillage d’annotation 3D.Des modèles entraînés sur de vastes corpus segmentent sans être spécialisés.Quatre observations situent ces modèles en annotation 3D.Ils fonctionnent bien sur les objets courants et bien échantillonnés.Ils ne connaissent pas les catégories métier, qu’il faut leur associer.Ils héritent des conventions de leurs corpus d’entraînement.Et leur performance chute sur les nuages épars, exactement comme celle des modèles spécialisés.Une conséquence pratique en découle. La troisième observation impose une vérification préalable, un modèle généraliste appliquant sa propre convention d’extrapolation produisant des dimensions décalées de façon systématique.Les capteurs embarqués sur porteurs légers
Une évolution logistique élargit le champ des acquisitions possibles.Des porteurs légers emportent désormais des capteurs qui exigeaient un véhicule.Quatre conséquences en découlent pour l’annotation 3D.Les sites inaccessibles deviennent relevables, ce qui ouvre des verticaux entiers à la mesure.La multiplication des points de vue devient économique, ce qui réduit l’occlusion résiduelle.Les nuages produits sont plus épars, la charge utile limitant le capteur.Et la trajectoire devient une source d’erreur supplémentaire, le recalage reposant sur une localisation moins précise qu’au sol.Une observation en découle. La deuxième conséquence est la plus favorable et la moins exploitée, l’occlusion étant la difficulté que l’acquisition corrige le mieux et qu’aucun progrès algorithmique ne compense.Les corpus synthétiques
Cette évolution promet de réduire le besoin d’annotation 3D.Son bilan est nuancé.Une scène simulée fournit une vérité terrain parfaite et gratuite.Trois apports caractérisent le corpus synthétique.Les configurations rares se produisent à volonté et sans attendre.La vérité terrain est exacte, y compris sur les faces qu’aucun capteur n’observerait.Et le volume est illimité pour un simple coût de calcul.Trois limites l’accompagnent en annotation 3D.Les artefacts réels du capteur se simulent mal, réflexions et absences sélectives notamment.La distribution des configurations reflète l’imagination du concepteur.Et l’écart entre la synthèse et le réel reste une source d’échec difficile à mesurer.Une observation en découle. Ces trois limites font du corpus synthétique un complément d’entraînement plutôt qu’un substitut, et elles interdisent son emploi comme corpus d’évaluation en annotation 3D.Ce qu’aucune de ces évolutions ne change
Cinq facteurs restent stables et ils déterminent la difficulté du travail d’annotation 3D.La sparsité à distance, propriété physique que la technologie repousse sans supprimer.L’occlusion, qui dépend de la géométrie et non du capteur.L’ambiguïté entre objets de même forme, que seule une information complémentaire lève.La nécessité d’une convention d’extrapolation, dès qu’une face n’est pas observée.Et l’absence de convention partagée sur l’orientation et sur le repère employé.Une conséquence pratique importante en découle. Le dernier facteur est le plus frappant, aucune des cinq évolutions examinées ne produisant de convention commune, ce qui laisse cette question exactement où elle était.Ce que ces évolutions impliquent pour un corpus
Quatre conséquences pratiques en découlent pour un projet d’annotation 3D.La métadonnée de capteur devient déterminante, la diversité des matériels s’accroissant.Le seuil de sparsité doit s’exprimer en nombre de points plutôt qu’en distance, la densité cessant d’être uniforme.La convention d’extrapolation doit être déclarée, les modèles généralistes en imposant une par défaut.Et le corpus d’évaluation doit rester entièrement réel, la synthèse ne mesurant pas ce qui compte.Une observation en découle. Ces quatre conséquences renforcent des exigences déjà présentes plutôt qu’elles n’en créent, ce qui suggère qu’un corpus correctement documenté aujourd’hui traversera ces évolutions sans devenir inexploitable.Ce qui pourrait changer réellement
Trois évolutions auraient un effet structurel sur l’annotation 3D.Aucune n’est acquise.Une convention partagée sur le repère et l’orientation, qui rendrait les corpus combinables.Un format d’échange portant les métadonnées de capteur et de calibration, qui supprimerait la perte à la conversion.Et une méthode fiable d’estimation de la dimension réelle sur une face non observée, qui supprimerait l’extrapolation conventionnelle.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. La troisième évolution est la plus improbable, une information absente de la donnée ne pouvant être produite que par une hypothèse, ce qui la ramène à une convention sous un autre nom.Aborder ces évolutions dans un projet
Cinq questions les cadrent dans un projet d’annotation 3D.Elles se posent au moment du choix.Le capteur envisagé produit-il une densité uniforme. Une réponse négative change la formulation du seuil.Un modèle généraliste sera-t-il employé. Sa convention doit être vérifiée avant.Une part synthétique est-elle prévue. Elle doit rester hors du corpus d’évaluation.La métadonnée de capteur est-elle enregistrée. Son absence limitera la réutilisation.Et le corpus doit-il rester exploitable après un changement de matériel. Cette réponse impose une organisation par capteur dès le départ.Ces cinq réponses déterminent la robustesse du corpus dans le temps. Les poser au moment du choix évite un corpus lié à une configuration matérielle qui ne durera pas.Ce que ce chapitre enseigne
Une observation transversale mérite de clore ce cluster.Les évolutions techniques déplacent les difficultés sans les supprimer.Trois constats la composent.La démocratisation des capteurs produit davantage de données difficiles plutôt que davantage de données faciles, ce qui augmente le besoin d’annotation au lieu de le réduire.Les méthodes qui estiment une géométrie sans la mesurer reproduisent une distinction ancienne sous une forme nouvelle.Et aucune de ces évolutions ne produit de convention partagée, ce qui laisse le principal obstacle à la combinaison des corpus exactement où il était.Ce constat rejoint celui que le cluster vidéo avait établi à propos de ses propres tendances, et il vaut pour l’ensemble de ce parcours : ce qui limite un corpus tient à ce qui est déclaré plutôt qu’à ce qui est mesuré, et cette limite ne se lève par aucun progrès matériel.Les erreurs les plus fréquentes
- Supposer qu’un capteur meilleur marché produit une donnée plus facile.
- Exprimer un seuil de sparsité en distance sur un capteur à densité non uniforme.
- Employer un modèle généraliste sans vérifier sa convention dimensionnelle.
- Traiter une reconstruction neuronale comme une mesure.
- Employer un corpus synthétique comme jeu d’évaluation.
- Négliger la métadonnée de capteur dans un parc hétérogène.
- Attendre d’une évolution matérielle qu’elle supprime l’extrapolation.
- Transposer une expérience d’artefacts d’un type de capteur à un autre.
- Supposer qu’une convention partagée émergera d’elle-même.
- Constituer un corpus lié à une configuration matérielle unique.
