Perception 3D – tendances et évolutions

Cinq évolutions modifient actuellement la perception tridimensionnelle. Aucune ne supprime le travail d’annotation, et la plus significative d’entre elles l’augmente plutôt qu’elle ne le réduit.Cet article les examine. Il prolonge l’article consacré à la pré-annotation automatique en 3D.

La baisse du coût des capteurs

Cette évolution matérielle domine les autres par ses effets sur l’annotation 3D.Les capteurs de distance deviennent accessibles à des équipements qui n’en portaient pas.Trois conséquences en découlent pour l’annotation 3D.Le nombre de projets augmente nettement, des usages qui se contentaient d’images passant désormais à la mesure.Les capteurs bon marché produisent des nuages plus épars et plus bruités que les équipements professionnels.Et la diversité des matériels s’accroît fortement, ce qui rend les corpus moins transposables d’un équipement à l’autre.Une observation importante en découle. La deuxième conséquence va à l’encontre de l’intuition, la démocratisation du matériel produisant davantage de données difficiles plutôt que davantage de données faciles.

Les capteurs solides

Cette évolution technique modifie la géométrie des acquisitions.Les capteurs sans pièce mobile remplacent progressivement les mécanismes rotatifs.Quatre conséquences en découlent pour un projet d’annotation 3D.Le champ de vue devient partiel, ce qui impose plusieurs capteurs pour une couverture complète.La distribution des points cesse d’être régulière, certains motifs concentrant la densité au centre.La déformation par balayage disparaît sur les porteurs rapides, ce qui simplifie la synchronisation.Et les artefacts caractéristiques changent de nature, ce qui invalide une part de l’expérience acquise.Une conséquence pratique s’ensuit. La deuxième conséquence est la plus déstabilisante en annotation, un seuil de sparsité exprimé en distance cessant de valoir uniformément lorsque la densité dépend de la position dans le champ.

Les représentations neuronales de scène

Cette évolution algorithmique attire l’attention.Son effet sur l’annotation 3D est indirect.Des méthodes reconstruisent une scène continue à partir de vues multiples.Trois observations situent ces méthodes en annotation 3D.Elles produisent une reconstruction visuellement convaincante à partir d’images seules.La géométrie obtenue est estimée et non mesurée, ce qui la prive d’échelle absolue.Et la qualité dépend fortement du nombre de vues et de leur répartition autour de la scène.Une observation importante en découle pour un projet d’annotation 3D. La deuxième observation reproduit exactement la distinction entre mesure et estimation exposée à propos de la photogrammétrie, ce qui rend ces méthodes séduisantes visuellement et impropres aux usages métrologiques.

Les modèles de segmentation généralistes

Cette évolution touche directement l’outillage d’annotation 3D.Des modèles entraînés sur de vastes corpus segmentent sans être spécialisés.Quatre observations situent ces modèles en annotation 3D.Ils fonctionnent bien sur les objets courants et bien échantillonnés.Ils ne connaissent pas les catégories métier, qu’il faut leur associer.Ils héritent des conventions de leurs corpus d’entraînement.Et leur performance chute sur les nuages épars, exactement comme celle des modèles spécialisés.Une conséquence pratique en découle. La troisième observation impose une vérification préalable, un modèle généraliste appliquant sa propre convention d’extrapolation produisant des dimensions décalées de façon systématique.

Les capteurs embarqués sur porteurs légers

Une évolution logistique élargit le champ des acquisitions possibles.Des porteurs légers emportent désormais des capteurs qui exigeaient un véhicule.Quatre conséquences en découlent pour l’annotation 3D.Les sites inaccessibles deviennent relevables, ce qui ouvre des verticaux entiers à la mesure.La multiplication des points de vue devient économique, ce qui réduit l’occlusion résiduelle.Les nuages produits sont plus épars, la charge utile limitant le capteur.Et la trajectoire devient une source d’erreur supplémentaire, le recalage reposant sur une localisation moins précise qu’au sol.Une observation en découle. La deuxième conséquence est la plus favorable et la moins exploitée, l’occlusion étant la difficulté que l’acquisition corrige le mieux et qu’aucun progrès algorithmique ne compense.

Les corpus synthétiques

Cette évolution promet de réduire le besoin d’annotation 3D.Son bilan est nuancé.Une scène simulée fournit une vérité terrain parfaite et gratuite.Trois apports caractérisent le corpus synthétique.Les configurations rares se produisent à volonté et sans attendre.La vérité terrain est exacte, y compris sur les faces qu’aucun capteur n’observerait.Et le volume est illimité pour un simple coût de calcul.Trois limites l’accompagnent en annotation 3D.Les artefacts réels du capteur se simulent mal, réflexions et absences sélectives notamment.La distribution des configurations reflète l’imagination du concepteur.Et l’écart entre la synthèse et le réel reste une source d’échec difficile à mesurer.Une observation en découle. Ces trois limites font du corpus synthétique un complément d’entraînement plutôt qu’un substitut, et elles interdisent son emploi comme corpus d’évaluation en annotation 3D.

Ce qu’aucune de ces évolutions ne change

Cinq facteurs restent stables et ils déterminent la difficulté du travail d’annotation 3D.La sparsité à distance, propriété physique que la technologie repousse sans supprimer.L’occlusion, qui dépend de la géométrie et non du capteur.L’ambiguïté entre objets de même forme, que seule une information complémentaire lève.La nécessité d’une convention d’extrapolation, dès qu’une face n’est pas observée.Et l’absence de convention partagée sur l’orientation et sur le repère employé.Une conséquence pratique importante en découle. Le dernier facteur est le plus frappant, aucune des cinq évolutions examinées ne produisant de convention commune, ce qui laisse cette question exactement où elle était.

Ce que ces évolutions impliquent pour un corpus

Quatre conséquences pratiques en découlent pour un projet d’annotation 3D.La métadonnée de capteur devient déterminante, la diversité des matériels s’accroissant.Le seuil de sparsité doit s’exprimer en nombre de points plutôt qu’en distance, la densité cessant d’être uniforme.La convention d’extrapolation doit être déclarée, les modèles généralistes en imposant une par défaut.Et le corpus d’évaluation doit rester entièrement réel, la synthèse ne mesurant pas ce qui compte.Une observation en découle. Ces quatre conséquences renforcent des exigences déjà présentes plutôt qu’elles n’en créent, ce qui suggère qu’un corpus correctement documenté aujourd’hui traversera ces évolutions sans devenir inexploitable.

Ce qui pourrait changer réellement

Trois évolutions auraient un effet structurel sur l’annotation 3D.Aucune n’est acquise.Une convention partagée sur le repère et l’orientation, qui rendrait les corpus combinables.Un format d’échange portant les métadonnées de capteur et de calibration, qui supprimerait la perte à la conversion.Et une méthode fiable d’estimation de la dimension réelle sur une face non observée, qui supprimerait l’extrapolation conventionnelle.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. La troisième évolution est la plus improbable, une information absente de la donnée ne pouvant être produite que par une hypothèse, ce qui la ramène à une convention sous un autre nom.

Aborder ces évolutions dans un projet

Cinq questions les cadrent dans un projet d’annotation 3D.Elles se posent au moment du choix.Le capteur envisagé produit-il une densité uniforme. Une réponse négative change la formulation du seuil.Un modèle généraliste sera-t-il employé. Sa convention doit être vérifiée avant.Une part synthétique est-elle prévue. Elle doit rester hors du corpus d’évaluation.La métadonnée de capteur est-elle enregistrée. Son absence limitera la réutilisation.Et le corpus doit-il rester exploitable après un changement de matériel. Cette réponse impose une organisation par capteur dès le départ.Ces cinq réponses déterminent la robustesse du corpus dans le temps. Les poser au moment du choix évite un corpus lié à une configuration matérielle qui ne durera pas.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore ce cluster.Les évolutions techniques déplacent les difficultés sans les supprimer.Trois constats la composent.La démocratisation des capteurs produit davantage de données difficiles plutôt que davantage de données faciles, ce qui augmente le besoin d’annotation au lieu de le réduire.Les méthodes qui estiment une géométrie sans la mesurer reproduisent une distinction ancienne sous une forme nouvelle.Et aucune de ces évolutions ne produit de convention partagée, ce qui laisse le principal obstacle à la combinaison des corpus exactement où il était.Ce constat rejoint celui que le cluster vidéo avait établi à propos de ses propres tendances, et il vaut pour l’ensemble de ce parcours : ce qui limite un corpus tient à ce qui est déclaré plutôt qu’à ce qui est mesuré, et cette limite ne se lève par aucun progrès matériel.

Les erreurs les plus fréquentes

  • Supposer qu’un capteur meilleur marché produit une donnée plus facile.
  • Exprimer un seuil de sparsité en distance sur un capteur à densité non uniforme.
  • Employer un modèle généraliste sans vérifier sa convention dimensionnelle.
  • Traiter une reconstruction neuronale comme une mesure.
  • Employer un corpus synthétique comme jeu d’évaluation.
  • Négliger la métadonnée de capteur dans un parc hétérogène.
  • Attendre d’une évolution matérielle qu’elle supprime l’extrapolation.
  • Transposer une expérience d’artefacts d’un type de capteur à un autre.
  • Supposer qu’une convention partagée émergera d’elle-même.
  • Constituer un corpus lié à une configuration matérielle unique.

Ce que ces évolutions changent au métier

Quatre déplacements affectent la pratique quotidienne de l’annotation 3D.La part géométrique du travail diminue, prétraitement et ajustement s’automatisant davantage.La part conventionnelle augmente, chaque nouvelle source imposant de déclarer ce qui la distingue.Le contrôle se déplace vers la détection de biais systématiques plutôt que d’erreurs isolées.Et la compétence de cadrage prend progressivement le pas sur la compétence d’exécution.Une conséquence pratique s’ensuit. Le quatrième déplacement rejoint ce que les chapitres précédents ont établi, la valeur d’un prestataire tenant à sa capacité à poser les bonnes questions avant la production autant qu’à produire vite.

Les exigences réglementaires

Une évolution non technique modifie ce qu’un corpus doit porter.Les cadres applicables aux systèmes d’intelligence artificielle imposent une traçabilité des données.Quatre exigences en découlent pour tout corpus d’annotation 3D.La provenance des données, site, date et capteur, doit être documentée.Les conventions d’annotation doivent être écrites et conservées.Le dispositif de contrôle qualité doit être décrit et ses résultats conservés.Et les limites du domaine d’emploi doivent être déclarées explicitement dans la documentation.Une observation importante en découle. Ces quatre exigences recouvrent exactement les pratiques que les chapitres précédents recommandaient pour des raisons d’exploitation, ce qui fait de la conformité un sous-produit d’un travail correctement conduit plutôt qu’une charge supplémentaire.

Ce qui rend un corpus durable

Cinq propriétés déterminent si un corpus d’annotation 3D survivra aux évolutions examinées.La conservation des nuages sources dans leur résolution d’origine, qui autorise une réexploitation avec d’autres conventions.L’organisation par capteur et par campagne, qui permet d’extraire un sous-ensemble homogène.La déclaration explicite du repère, de l’orientation et du seuil de sparsité.Le marquage des faces extrapolées, qui distingue mesure et convention dans le corpus lui-même.Enfin la conservation du masque de couverture, qui préserve la distinction entre une zone vide et une zone non observée.Une conséquence pratique s’ensuit. Ces cinq propriétés coûtent peu au moment de la constitution et ne s’ajoutent pas après, ce qui en fait la meilleure protection contre une obsolescence dont on ignore la forme qu’elle prendra.

Ce que ce cluster a établi

Cinq constats traversent l’ensemble de ce parcours sur l’annotation 3D.L’orientation est la grandeur sans équivalent en annotation d’images, et son ambiguïté à cent quatre-vingts degrés en constitue le défaut caractéristique.Les grandeurs physiques rendent le contrôle automatique plus puissant qu’ailleurs, dimensions, gravité et impénétrabilité fournissant des contraintes vérifiables.La distance est un axe de couverture à part entière, un objet proche et le même objet lointain constituant deux exemples distincts.La distinction entre mesure et estimation traverse tous les chapitres, du choix de capteur à l’extrapolation des faces non observées.Et l’absence de convention partagée sur le repère et l’orientation reste le principal obstacle à la combinaison des corpus.Une observation en découle. Ces cinq constats relèvent de la déclaration plutôt que de la technique, ce qui les rend accessibles à tout projet indépendamment de son budget.

Ce qui distingue ce domaine des autres

Quatre différences séparent l’annotation 3D de l’annotation d’images et de celle de vidéos.La donnée porte des grandeurs physiques, ce qui fournit des contraintes de contrôle que ni l’image ni la vidéo n’offrent.L’absence d’information est franche plutôt que progressive, ce qui la rend déclarable au lieu de se confondre avec une donnée valide.La difficulté varie avec la distance de façon continue et mesurable, ce qui permet de stratifier exigence et échantillonnage.Et une part des dimensions livrées relève d’une convention plutôt que d’une observation, ce qui n’a pas d’équivalent ailleurs.Une observation en découle. Ces quatre différences jouent globalement en faveur de la vérifiabilité, ce qui rend un corpus 3D correctement documenté plus défendable qu’un corpus d’images de qualité équivalente.

Ce qu’un client devrait demander aujourd’hui

Cinq exigences protègent un corpus d’annotation 3D contre les évolutions examinées.La livraison des nuages sources en résolution d’origine, en plus de la version allégée employée pour l’annotation.La documentation du repère, de l’orientation et du seuil de sparsité employés.L’attribut distinguant les faces mesurées des faces extrapolées.Les métadonnées de capteur et de campagne pour chaque scène.Et la liste des configurations non couvertes, qui borne le domaine d’emploi.Une conséquence pratique s’ensuit. Ces cinq exigences se formulent en une clause de cahier des charges, elles n’augmentent pratiquement pas le coût d’un prestataire qui travaille correctement, et elles écartent ceux qui ne le font pas.

Ce que ces évolutions ne remplacent pas

Quatre décisions d’annotation 3D restent humaines et aucune évolution examinée ne les touche.Le choix de la géométrie, qui dépend de l’usage aval et non de la technique disponible.Le choix de la distance maximale, arbitrage entre coût et couverture que rien n’automatise.La formulation de la convention d’extrapolation, qui est une décision et non une mesure.Et la déclaration des limites, qui suppose de savoir précisément ce que le corpus ne contient pas.Une observation en découle pour un projet d’annotation 3D. Ces quatre décisions se prennent en une réunion et déterminent davantage le résultat que le choix du capteur, ce qui explique qu’elles constituent le point de valeur d’un prestataire plutôt que sa capacité de production.

Comment suivre ces évolutions

Quatre pratiques permettent à une équipe d’annotation 3D de rester à jour sans courir après chaque annonce.Éprouver un capteur nouveau sur une scène connue plutôt que sur une démonstration du constructeur.Vérifier la convention dimensionnelle de tout modèle avant de l’employer, quelle que soit sa réputation.Conserver une part non assistée dans les lots, qui mesure l’effet réel de chaque nouvel outil.Et distinguer une amélioration de la donnée d’une amélioration de son apparence, seule la première réduisant le travail.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. La dernière pratique est la plus discriminante, plusieurs des évolutions actuelles produisant une donnée plus séduisante à l’écran sans réduire la part indécidable qui détermine le coût.

Ce que le marché demandera

Quatre demandes se dessinent et elles orientent ce qu’un prestataire d’annotation 3D doit savoir faire.Le traitement de corpus multi-capteurs, la diversité des matériels s’accroissant chez un même client.La reprise de corpus existants, sous-documentés et à requalifier avant emploi.La production de la documentation de traçabilité, exigée par les cadres réglementaires.Et le conseil de cadrage, distinct de la production et portant sur la géométrie, la distance maximale et les conventions.Une observation en découle. La deuxième demande est la moins visible et la plus fréquente, un client disposant presque toujours de relevés antérieurs dont personne ne sait dire ce qu’ils permettent, question à laquelle quatre vérifications répondent.

La question qui traverse ces évolutions

Une question permet d’évaluer n’importe quelle nouveauté annoncée.Cette évolution réduit-elle la part indécidable ou la déplace-t-elle.Une réduction réelle vient de l’acquisition, points de vue supplémentaires, densité accrue ou modalité ajoutée, et elle diminue le travail humain de façon durable.Un déplacement vient du traitement, une reconstruction ou une proposition rendant lisible ce qui reste indéterminé, et il transfère la décision sans la supprimer.Cette question se pose devant chaque annonce, elle ne demande aucune expertise technique, et elle sépare les progrès qui réduisent un budget de ceux qui améliorent une démonstration.

Trois décisions qui résistent au temps

Trois décisions protègent un corpus d’annotation 3D quelle que soit l’évolution à venir.Conserver les nuages sources en résolution d’origine, seule décision qui autorise une réexploitation avec des conventions futures.Organiser le corpus par capteur et par campagne, ce qui permet d’en extraire un sous-ensemble homogène quand le parc change.Et déclarer explicitement ce que le corpus ne couvre pas, ce qui borne son domaine d’emploi au lieu de laisser un utilisateur le découvrir par un échec.Ces trois décisions ne dépendent d’aucune technologie, elles coûtent peu au moment de la constitution, et elles constituent la seule protection disponible contre une obsolescence dont personne ne connaît la forme.

Ce que ce parcours a montré

Une observation clôt ce cluster consacré à l’annotation 3D.La troisième dimension apporte des contraintes physiques et une exigence conventionnelle nouvelle.Les premières facilitent le contrôle, dimensions, gravité et impénétrabilité bornant ce qu’une annotation peut affirmer.La seconde complique la production, une part des valeurs livrées provenant d’une règle plutôt que d’une observation.Cet équilibre distingue ce domaine de l’annotation d’images, où rien ne borne une assertion et où rien n’oblige non plus à déclarer une convention.

Ce qu’il faut retenir

Cinq évolutions modifient la perception 3D et aucune ne supprime le travail d’annotation.Trois lectures se dégagent. La baisse du coût des capteurs produit davantage de données difficiles plutôt que faciles, ce qui augmente le besoin d’annotation au lieu de le réduire. Les capteurs à densité non uniforme invalident un seuil de sparsité exprimé en distance, ce qui impose de l’exprimer en nombre de points. Et aucune de ces évolutions ne produit de convention partagée sur le repère et l’orientation, ce qui laisse le principal obstacle à la combinaison des corpus exactement où il était.Pour le cadre général de ce parcours, le guide de l’annotation 3D pose le panorama. Pour la méthode de constitution d’un corpus robuste, l’article consacré au dataset 3D détaille les décisions.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous préparez un corpus destiné à durer au delà d’une génération de capteurs, échangeons sur votre projet.
Tags

Découvrez nos articles