Qualité en annotation 3D – métriques et contrôle

La troisième dimension offre au contrôle qualité quelque chose que l’annotation d’images ne lui donne pas : des grandeurs physiques. Une boîte trop courte, un objet flottant ou deux solides qui s’interpénètrent constituent des impossibilités mesurables plutôt que des jugements.Cet article expose ce dispositif. Il prolonge l’article consacré au coût de l’annotation 3D.

Ce que la métrique apporte au contrôle

Quatre propriétés distinguent le contrôle d’un corpus d’annotation 3D de celui d’un corpus d’images.Les dimensions sont physiques, ce qui permet de les comparer à des plages connues.La gravité s’applique, ce qui rend une position invraisemblable détectable.L’impénétrabilité des solides fournit une contrainte que rien ne viole légitimement.Et le nombre de points contenus mesure le support réel d’une annotation.Une conséquence pratique importante en découle. Ces quatre propriétés rendent le contrôle automatique nettement plus puissant en annotation 3D qu’en annotation d’images, où aucune contrainte physique ne borne ce qu’une boîte peut affirmer.

Les défauts propres à la 3D

Six modes de défaillance n’existent pas en annotation d’images.La boîte sous-dimensionnée, ajustée aux seuls points visibles d’un objet partiellement observé.L’inversion d’orientation, erreur de cent quatre-vingts degrés invisible à l’œil.La boîte vide, posée sur une zone sans support de points.L’objet flottant ou enfoncé, dont la position verticale est incohérente avec le sol.L’intersection entre solides, deux objets occupant le même volume.Et le débordement de propagation en segmentation, une classe envahissant sa voisine.Une observation importante en découle. Ces six défauts se détectent tous automatiquement, ce qui distingue ce domaine de la vidéo où les défauts caractéristiques demandaient un examen sur séquence.

Les contrôles automatiques

Sept vérifications exploitent les grandeurs physiques d’un nuage.Elles s’exécutent sans intervention.La plausibilité dimensionnelle par classe, comparaison à une plage connue.Le nombre de points contenus, dont un seuil bas signale une annotation sans support.La distance au sol, qui détecte les objets flottants et enfoncés.La non-intersection entre objets solides.La cohérence d’orientation avec la trajectoire lorsque les scènes forment une séquence.La constance dimensionnelle le long d’une piste.Et la détection des îlots isolés en segmentation.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Ces sept contrôles se programment une fois et s’appliquent à tous les lots, ce qui en fait le meilleur rapport entre effort de mise en place et défauts détectés de tout le dispositif.

Ce que les contrôles automatiques ne voient pas

Quatre défauts d’annotation 3D échappent à toute vérification programmée.L’omission, un objet jamais annoté ne produisant aucune anomalie.L’erreur de classe systématique, une confusion cohérente entre deux catégories passant tous les contrôles de forme.L’orientation erronée sans inversion, un écart de quelques degrés restant plausible.Et la mauvaise application d’une convention, un annotateur appliquant fidèlement une règle qu’il a mal comprise.Une observation importante en découle. Ces quatre défauts demandent un contrôle humain, ce qui fait de l’automatique et de l’humain deux dispositifs complémentaires plutôt que substituables.

Détecter les omissions

Ce défaut est le plus grave et le seul qu’aucun contrôle automatique ne révèle directement.Trois méthodes permettent de le détecter en annotation 3D.La réannotation exhaustive d’une scène courte, méthode fiable et coûteuse dont le résultat borne le taux d’omission.La comparaison avec un modèle existant, dont les détections non annotées signalent des candidats.Et la recherche d’amas de points non attribués, un groupe cohérent de points hors de toute annotation signalant un objet oublié.Une conséquence pratique importante en découle. La troisième méthode est propre à ce domaine et automatisable, la géométrie permettant de repérer une structure sans étiquette là qu’en annotation d’images rien ne distingue une zone vide d’une zone oubliée.

Les métriques de comparaison

Quatre indicateurs mesurent l’écart entre deux annotations.Ils rendent compte de choses différentes.Le recouvrement volumique, équivalent tridimensionnel du recouvrement de boîtes.L’écart de position du centre, généralement faible et rarement problématique.L’écart dimensionnel par axe, dont l’ampleur dépend de la convention d’extrapolation.Et l’écart angulaire, rapporté séparément des inversions complètes.Une observation en découle pour un projet d’annotation 3D. Le premier indicateur agrège les trois autres et masque leur origine, ce qui le rend commode pour comparer des systèmes et insuffisant pour diagnostiquer un corpus.

Comment échantillonner

Quatre principes gouvernent l’échantillonnage de contrôle en annotation 3D.Cibler les tranches de distance plutôt que tirer uniformément, la difficulté variant fortement avec l’éloignement.Inclure les zones de forte densité d’objets, où les intersections et les confusions se concentrent.Retenir les scènes contenant des matériaux problématiques, vitrage et surfaces réfléchissantes.Et conserver un échantillon constant entre les lots, seul moyen de mesurer une dérive.Une conséquence pratique en découle. Le premier principe est le plus efficace, un échantillon uniforme étant dominé par les objets proches et faciles alors que l’essentiel du désaccord se situe aux distances élevées.

Le contrôle par revue visuelle

Une méthode humaine complète les contrôles programmés et elle est sous-employée.Le principe consiste à parcourir une scène annotée depuis une vue de dessus plutôt qu’en perspective.Quatre défauts y deviennent immédiatement visibles.Les boîtes mal orientées, dont l’écart avec l’axe de la voie saute aux yeux.Les objets omis, un amas de points sans encadrement se repérant instantanément.Les chevauchements, deux emprises qui se superposent au sol.Et les alignements incohérents, une file de véhicules dont l’un s’écarte de la trajectoire commune.Une observation importante en découle pour un projet d’annotation 3D. Cette vue exploite une régularité que la perspective masque, les objets d’une scène routière s’alignant sur des directions communes, ce qui rend une anomalie visible sans examen individuel.

La mesure du désaccord

Cette opération borne ce qui peut être promis en annotation 3D.Elle se conduit sur quelques scènes.Deux annotateurs formés traitent les mêmes scènes et les résultats se comparent.Quatre informations exploitables en découlent.L’accord sur la présence des objets, par tranche de distance.L’écart dimensionnel, dont l’ampleur révèle la clarté de la convention d’extrapolation.Le taux d’inversion d’orientation, rapporté séparément.Et la liste des configurations litigieuses, matière première du référentiel.Une conséquence pratique importante en découle. Ces quatre valeurs doivent être rapportées par tranche de distance, un chiffre global masquant que la performance est excellente à courte portée et médiocre au delà.

Les indicateurs à suivre par lot

Cinq valeurs se relèvent automatiquement.Leur évolution révèle les dérives.Le nombre moyen d’objets par scène, dont une baisse signale des omissions.La distribution des dimensions par classe, dont un glissement signale une convention qui dérive.Le taux d’alertes automatiques levées, indicateur direct de la qualité amont.Le taux d’objets marqués incertains, à interpréter dans les deux sens.Et le taux de rejet en validation.Une observation en découle pour un projet d’annotation 3D. Le deuxième indicateur est propre à ce domaine et très révélateur, une dimension moyenne qui diminue au fil des lots trahissant des annotateurs qui ajustent de plus en plus aux seuls points visibles.

Formuler une exigence tenable

Une méthode en trois temps évite un engagement irréalisable.Séparer l’exigence par tranche de distance, un objet proche et un objet lointain n’étant pas décrits avec la même certitude.Distinguer les familles d’erreur, une inversion d’orientation et un écart dimensionnel n’ayant pas la même conséquence pour l’usage.Et comparer chaque exigence au désaccord mesuré entre annotateurs sur la même dimension.Une observation importante en découle. La première étape est spécifique à ce domaine, une exigence unique appliquée à tout un corpus étant soit intenable au loin soit inutilement lâche au près.

Ce que le contrôle coûte

Quatre postes composent ce contrôle d’annotation 3D.Leur répartition surprend.La mise en place des contrôles automatiques, coût unique de quelques heures.L’exécution, quasi nulle et répétable sur tous les lots.La vérification humaine des alertes, proportionnelle au nombre de défauts réels.Et la double annotation d’un échantillon, dont le taux détermine le surcoût.Une conséquence pratique s’ensuit. Ce poste est proportionnellement moins coûteux en annotation 3D qu’en annotation d’images à volume d’objets égal, les grandeurs physiques fournissant des contraintes vérifiables que des images n’offrent pas.

Aborder le contrôle d’un corpus 3D

Cinq questions cadrent un dispositif de contrôle en annotation 3D.Une table de plages dimensionnelles existe-t-elle. Son absence prive le projet de son contrôle le plus efficace.Les contrôles automatiques sont-ils prévus dès le premier lot. Leur ajout tardif laisse passer les premiers lots.L’échantillon est-il stratifié par distance. Un tirage uniforme gaspille l’effort.Le désaccord a-t-il été mesuré par tranche de distance. Sa valeur borne ce qui peut être promis.Et un échantillon constant est-il conservé entre les lots. Son absence rend la dérive indétectable.Ces cinq réponses déterminent le dispositif et son coût. Les poser avant la production évite de constater après coup un défaut que les premiers lots contenaient déjà.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen.La physique fournit ici ce que la convention doit fournir ailleurs.Trois constats la composent.Les contraintes dimensionnelles, gravitaires et d’impénétrabilité bornent ce qu’une annotation peut affirmer, ce qui rend une part importante des défauts détectable sans référence.La difficulté varie fortement avec la distance, ce qui impose de stratifier échantillonnage, mesure et exigence.Et les défauts que la physique ne borne pas, omissions et confusions systématiques, restent entiers et demandent un contrôle humain.Ce constat rejoint celui que les séries précédentes ont établi à propos des contrôles exploitant une contrainte structurelle : lorsque la donnée porte une régularité indépendante du contenu annoté, elle sert autant à vérifier qu’à produire.

Les erreurs les plus fréquentes

• Omettre la table de plages dimensionnelles par classe.
• Échantillonner uniformément plutôt que par tranche de distance.
• Rapporter une exigence unique pour toutes les distances.
• Agréger inversions et écarts angulaires dans un même indicateur.
• Se fier au seul recouvrement volumique pour diagnostiquer un corpus.
• Ajouter les contrôles automatiques après les premiers lots.
• Négliger le suivi de la distribution des dimensions par classe.
• Attendre des contrôles automatiques qu’ils détectent les omissions.
• Interpréter une baisse du taux d’incertains comme un progrès.
• Livrer un rapport sans les valeurs par tranche de distance.

Le cycle de correction

Quatre étapes organisent l’amélioration d’un corpus d’annotation 3D, et elles se répètent entre les lots.L’exécution des contrôles automatiques sur le lot livré.La revue visuelle d’un échantillon stratifié par distance.Le classement de chaque défaut en erreur individuelle ou défaut de convention.Et l’écriture de la règle manquante avant le lot suivant.Une conséquence pratique importante en découle pour un projet d’annotation 3D. La troisième étape distingue une correction d’une amélioration, et sa répartition constitue un indicateur de maturité, une part élevée de défauts de convention signalant un référentiel incomplet plutôt qu’une équipe insuffisante.

Ce que le rapport doit contenir

Six éléments composent un rapport de contrôle utile en annotation 3D.La méthode d’échantillonnage, avec la stratification par distance employée.Les résultats des contrôles automatiques, alertes levées et alertes confirmées.Le désaccord mesuré entre annotateurs, rapporté par tranche de distance.L’évolution des indicateurs entre les lots.La liste des configurations pour lesquelles aucune convention stable n’a pu être établie.Et la table de plages dimensionnelles employée, qui documente les extrapolations pratiquées.Une observation en découle. Le cinquième élément est le plus rare et le plus utile, puisqu’il transforme une limite invisible en limite déclarée, principe que toutes les séries précédentes ont établi.

Le corpus d’évaluation en 3D

Une distinction mérite d’être posée car ce corpus n’obéit pas aux mêmes règles que celui d’entraînement.Quatre différences le caractérisent en annotation 3D.Le volume nécessaire est bien inférieur, quelques scènes suffisant à mesurer.L’exhaustivité devient impérative, un objet omis comptant comme une fausse détection du système évalué.La stratification par distance doit être délibérée, un jeu dominé par les objets proches mesurant une performance qui n’a pas de sens.Et la stabilité dans le temps conditionne la comparaison entre deux versions.Une conséquence pratique importante en découle pour un projet d’annotation 3D. La deuxième différence rend ce corpus disproportionnément coûteux par scène, l’exhaustivité interdisant le seuil de distance et le seuil de points qui allègent le corpus d’entraînement.

Le contrôle d’une segmentation

Cinq vérifications s’appliquent lorsque la tâche est la classification par point.La distribution des classes par scène, une proportion inhabituelle signalant un oubli ou un débordement.Le taux de points non classés, qui doit rester borné et déclaré.La cohérence verticale, des points de sol situés au dessus d’une structure signalant une erreur.Les îlots isolés, signature caractéristique d’une propagation mal réglée.Et la comparaison entre annotateurs restreinte aux zones de frontière.Une observation en découle pour un projet d’annotation 3D. La dernière vérification est la seule représentative, un accord global sur une scène étant dominé par les grandes surfaces faciles et pouvant coexister avec un désaccord massif là où se situe l’enjeu.

Le contrôle du premier lot

Quatre vérifications s’appliquent au premier lot et à lui seul.La faisabilité des conventions, un cas fréquent non couvert imposant une écriture avant de poursuivre.La cadence observée par tranche de distance, qui remplace l’estimation et sert de base au chiffrage.Le désaccord entre annotateurs, qui borne ce qui peut être promis contractuellement.Et la validité de la table de plages dimensionnelles, dont les valeurs se vérifient sur des objets réels plutôt que sur une documentation constructeur.Une observation en découle pour un projet d’annotation 3D. Ces quatre vérifications mesurent la viabilité du dispositif plutôt que la qualité du lot, distinction qui justifie de traiter le premier lot différemment des suivants.

Démontrer la qualité à un client

Quatre démonstrations convainquent plus sûrement qu’un taux.La revue en vue de dessus d’une scène annotée, qui montre en quelques secondes une cohérence d’ensemble qu’un chiffre laisse abstraite.La liste des alertes automatiques levées et traitées, qui démontre un dispositif plutôt qu’un résultat.Le tableau de performance par tranche de distance, qui situe honnêtement ce qui est atteint et ce qui ne l’est pas.Et la table de plages dimensionnelles employée, dont l’existence démontre une méthode que des indicateurs n’établissent pas.Une observation en découle pour un prestataire d’annotation 3D. Le troisième support est le plus efficace commercialement, un client comprenant immédiatement qu’un prestataire déclarant ses limites par distance a mesuré son travail, alors qu’un chiffre unique suggère qu’il ne l’a pas fait.

Le dispositif minimal

Cinq mesures traitent l’essentiel des difficultés et leur coût total reste modeste.La table de plages dimensionnelles par classe, établie sur des objets réels et branchée sur le contrôle automatique.Les sept contrôles programmés avant le premier lot et exécutés sur tous les suivants.La revue en vue de dessus d’un échantillon stratifié par distance, à chaque lot.La mesure du désaccord entre deux annotateurs, conduite une fois en début de projet.Et le suivi des cinq indicateurs par lot, tableau simple révélant les dérives.Une observation en découle pour un projet d’annotation 3D. Ces cinq mesures occupent une part réduite du temps de production, elles ne demandent aucun outillage propriétaire, et elles transforment une revendication de qualité en fait vérifiable.

Établir la table de plages dimensionnelles

Une opération conditionne le contrôle le plus efficace et elle se conduit en une demi-journée.Quatre sources alimentent cette table.Les documentations constructeur lorsque les objets sont des produits identifiés.La mesure sur des objets réels du corpus, méthode plus sûre car elle intègre la convention d’extrapolation retenue.Les corpus publics du même domaine, qui fournissent un ordre de grandeur à vérifier.Et l’observation des valeurs extrêmes du premier lot, qui révèle les cas que les trois premières sources n’anticipaient pas.Une conséquence pratique importante en découle pour un projet d’annotation 3D. La deuxième source doit primer sur la première, une plage établie sur documentation constructeur signalant comme aberrantes des annotations conformes à la convention du projet, ce qui produit un flot d’alertes inexploitable.

Trois contrôles à mettre en place en premier

Trois dispositifs traitent la majorité des défauts et ils se construisent en une journée.Le contrôle de plausibilité dimensionnelle, qui détecte les boîtes sous-dimensionnées, défaut le plus fréquent de ce domaine.Le comptage des points contenus, qui repère les annotations sans support.Et la revue en vue de dessus d’un échantillon, qui révèle les orientations aberrantes et les objets omis.Ces trois dispositifs s’exécutent sur un export livré, ils ne demandent aucune référence externe, et ils couvrent ce qui distingue un corpus 3D exploitable d’un corpus visuellement acceptable.

La question qui cadre le dispositif

Une question détermine l’exigence à retenir et elle porte sur l’usage.Jusqu’à quelle distance le système aval agit-il réellement.Une réponse courte concentre l’exigence sur une zone où la donnée est dense et le désaccord faible, ce qui rend une performance élevée atteignable.Une réponse longue impose de déclarer une exigence dégradée au delà d’un seuil, faute de quoi le contrat porte sur un résultat que la sparsité interdit.Cette question se pose en une phrase, elle relève de l’usage et non de la technique, et elle évite le litige le plus fréquent de ce domaine, un client mesurant sur des objets lointains une performance promise sur l’ensemble.

Ce qu’il faut retenir

Les grandeurs physiques rendent le contrôle automatique plus puissant en 3D qu’en annotation d’images, une part importante des défauts étant détectable sans référence externe.Trois lectures se dégagent. Sept contrôles automatiques se programment une fois et s’appliquent à tous les lots, ce qui en fait le meilleur rapport entre effort et défauts détectés. La recherche d’amas de points non attribués détecte une part des omissions, opération propre à ce domaine puisque la géométrie révèle une structure sans étiquette là qu’une image ne distingue pas une zone vide d’une zone oubliée. Et toutes les mesures doivent être stratifiées par distance, un chiffre global masquant une performance excellente au près et médiocre au loin.Pour un vertical où ces contrôles prennent une forme particulière, l’article consacré à l’annotation 3D en forêt et en agriculture expose le contexte. Pour le cadre général, le guide de l’annotation 3D pose le panorama.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous devez mettre en place un contrôle qualité sur un corpus tridimensionnel, échangeons sur votre projet.