Fusion de capteurs – annoter LiDAR et caméras ensemble

Combiner un capteur de distance et une caméra paraît additionner deux sources. Cette combinaison introduit en réalité une troisième chose, une relation géométrique entre elles, dont la justesse conditionne la validité de tout ce qui suit.Cet article expose ce que cette configuration demande. Il prolonge l’article consacré au choix entre LiDAR et photogrammétrie.

Ce que la fusion apporte

Quatre bénéfices justifient cette configuration d’annotation 3D.La classification devient plus fiable, un objet ambigu en géométrie étant souvent évident en image.Les objets lointains restent identifiables, l’image conservant une résolution que le nuage a perdue.Les matériaux se distinguent, deux surfaces de même forme se séparant par leur apparence.Et la vérification est facilitée, un contrôleur retrouvant en image ce qu’il ne distingue pas dans les points.Une observation en découle. Le deuxième bénéfice est le plus déterminant en extérieur, il repousse la distance au delà de laquelle un objet devient inclassable et il élargit donc la part exploitable de chaque scène.

Ce que la calibration établit

Une relation géométrique lie les deux capteurs.Elle doit être connue avant toute annotation 3D.La calibration détermine où se projette dans l’image un point mesuré dans l’espace.Trois éléments composent cette calibration.Les paramètres internes de la caméra, focale, centre optique et distorsion.La position et l’orientation relatives des deux capteurs.Et l’incertitude associée, valeur rarement fournie et pourtant nécessaire.Une conséquence pratique importante en découle pour un projet d’annotation 3D. Le troisième élément est le plus souvent absent, une calibration livrée sans marge d’erreur laissant croire à une correspondance exacte que la physique n’autorise pas.

Comment une calibration se dégrade

Quatre causes altèrent une calibration pourtant établie correctement.Les vibrations du porteur, qui déplacent progressivement les capteurs l’un par rapport à l’autre.Les variations thermiques, qui dilatent les supports différemment.Les chocs, un simple heurt suffisant à invalider un réglage.Et les interventions de maintenance, un capteur démonté et remonté ne retrouvant pas exactement sa position.Une observation importante en découle. Ces quatre causes rendent une calibration périssable plutôt que définitive, ce qui impose de dater chaque acquisition et de la rattacher à une calibration donnée en annotation 3D.

La synchronisation temporelle

Cette seconde exigence accompagne la première.Elle est plus souvent négligée en annotation 3D.Les deux capteurs doivent observer la scène au même instant.Trois situations rendent cette exigence critique en annotation 3D.Le porteur en mouvement, un décalage de quelques millisecondes déplaçant la scène entière.Les objets mobiles, dont la position diffère entre les deux observations.Et le balayage progressif d’un capteur de distance, dont les points d’une même acquisition ne datent pas du même instant.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. La troisième situation est la moins connue, un nuage acquis par balayage sur un porteur rapide présentant une déformation que seule une compensation par la trajectoire corrige.

Ce qu’une mauvaise calibration produit

Quatre symptômes trahissent un défaut d’alignement.Ils se repèrent visuellement.La couleur d’un objet déborde sur son voisin, ce qui trahit un décalage latéral.Le ciel colore le sommet des objets, symptôme d’un décalage vertical.L’erreur croît avec la distance, ce qui indique une erreur angulaire plutôt qu’une translation.Et le décalage varie selon la position dans l’image, ce qui trahit une distorsion mal corrigée.Une observation importante en découle. Ces quatre symptômes se distinguent les uns des autres, ce qui permet à un annotateur formé de qualifier le défaut plutôt que de le subir, et de le signaler avec assez de précision pour qu’il soit corrigé.

Ce que la fusion change à l’annotation

Quatre effets se manifestent sur le travail d’annotation 3D lui-même.La cadence augmente sur les classes ambiguës, l’image levant un doute que la géométrie laissait ouvert.Le regard se déplace entre deux représentations, ce qui demande un outillage adapté et une habitude.Une contradiction devient possible, la géométrie et l’image ne suggérant pas la même classe.Et la confiance dans la projection devient un préalable, un annotateur ne pouvant s’appuyer sur une correspondance qu’il sait fausse.Une conséquence pratique importante en découle pour un projet d’annotation 3D. La troisième situation appelle une règle de priorité écrite, faute de quoi chaque annotateur tranche selon sa préférence et le corpus perd sa cohérence.

La règle de priorité entre sources

Cette convention est indispensable en annotation 3D.Elle est presque toujours absente.Trois formulations coexistent en annotation 3D.La géométrie prime, l’image servant uniquement d’indice de classe, ce qui convient aux tâches de mesure.L’image prime pour la classe et la géométrie pour la position, répartition qui exploite le meilleur de chaque source.Et la contradiction est signalée par un attribut plutôt que résolue, ce qui conserve l’information pour l’exploitation aval.Une observation en découle. La deuxième formulation convient à la majorité des projets et la troisième est la plus informative, une contradiction signalée localisant soit un défaut de calibration soit une configuration réellement ambiguë en annotation 3D.

Ce que la fusion ne résout pas

Quatre limites persistent malgré la combinaison.Une zone masquée pour les deux capteurs reste sans information.Les champs de vue diffèrent, une part du nuage n’ayant aucune image correspondante.L’occlusion diffère entre les deux points de vue, un point visible du capteur de distance pouvant être caché de la caméra.Et l’écart d’exposition rend certaines zones inexploitables en image alors que la géométrie y est correcte.Une conséquence pratique s’ensuit. La troisième limite produit un artefact caractéristique, un point d’arrière-plan recevant la couleur de l’objet qui le masque en image, erreur systématique qu’une convention doit prévoir.

Vérifier une calibration reçue

Quatre épreuves qualifient un alignement avant d’engager une production d’annotation 3D.Projeter le nuage sur l’image et examiner les contours d’objets à courte distance, où l’erreur angulaire se voit peu.Répéter l’examen à longue distance, où la même erreur angulaire produit un décalage important.Chercher une scène contenant un objet en mouvement rapide, révélateur d’un défaut de synchronisation.Et comparer plusieurs acquisitions espacées dans le temps, dont la divergence signale une dérive.Une conséquence pratique importante en découle pour un projet d’annotation 3D. Ces quatre épreuves occupent une heure sur un échantillon, elles précèdent toute production, et elles évitent d’annoter un corpus entier avec une projection fausse dont personne ne s’apercevra avant la livraison.

Le contrôle qualité d’une fusion

Cinq vérifications s’ajoutent à celles d’un corpus mono-capteur.La cohérence des contours, la frontière colorée devant coïncider avec la discontinuité géométrique.La stabilité de l’alignement au fil de la campagne, une dérive signalant une calibration qui se dégrade.La couverture image du nuage, part des points disposant effectivement d’une couleur.Le taux de contradictions signalées, dont la hausse trahit un problème d’alignement.Et la vérification sur objets mobiles, révélatrice d’un défaut de synchronisation invisible sur une scène statique.Une observation importante en découle pour un projet d’annotation 3D. La dernière vérification est la plus efficace et la moins pratiquée, un objet en mouvement rapide révélant en une image un décalage temporel qu’aucune scène fixe ne montrerait.

Ce que la fusion coûte

Quatre postes s’ajoutent à un projet d’annotation 3D mono-capteur.L’établissement et la vérification de la calibration, coût unique par configuration matérielle.Le traitement de projection, qui associe une couleur à chaque point.La gestion des cas de contradiction, qui ralentit une part des décisions.Et le volume de données supplémentaire, images et paramètres accompagnant les nuages.Une conséquence pratique en découle. Ces quatre postes sont compensés par le gain de cadence sur les classes ambiguës, ce qui rend la fusion économiquement neutre à courte échéance et favorable dès que le corpus s’étend.

Ce que la fusion apporte au contrôle

Trois usages du second capteur relèvent du contrôle plutôt que de la production en annotation 3D.La revue rapide d’un lot par visualisation des projections, un défaut de classe se voyant immédiatement en couleur.La détection d’objets omis, une zone colorée cohérente sans annotation attirant l’attention.Et l’arbitrage des désaccords entre annotateurs, l’image tranchant une part des cas litigieux.Une observation en découle pour un projet d’annotation 3D. Le premier usage transforme le contrôle d’un corpus 3D, une revue visuelle rapide devenant possible là où l’examen d’un nuage brut demande une navigation lente et fatigante.

Aborder un projet multi-capteurs

Cinq questions cadrent une configuration fusionnée en annotation 3D.La calibration est-elle fournie et documentée. Son absence rend la fusion inexploitable.Son incertitude est-elle chiffrée. Cette valeur borne la confiance accordée à la projection.Le porteur ou la scène sont-ils en mouvement. Une réponse positive rend la synchronisation critique.Quelle part du nuage dispose d’une image. Cette réponse borne l’apport réel de la fusion.Et quelle règle de priorité s’applique en cas de contradiction. Son absence produit une incohérence entre annotateurs.Ces cinq réponses déterminent la faisabilité et l’apport réel. Les poser avant de commencer évite un corpus dont la couleur induit en erreur plutôt qu’elle n’informe.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen.La fusion ajoute une information et une dépendance.Trois constats la composent.L’apport est réel et il porte principalement sur la décision de classe, la géométrie restant la source de la position.La relation entre capteurs est une donnée à part entière, périssable et rarement documentée avec son incertitude.Et une contradiction entre sources est une information plutôt qu’un défaut, à condition qu’une convention prévoie de la signaler.Ce constat rejoint celui que les séries précédentes ont établi à propos des sources combinées : ce qui les relie mérite autant d’attention que ce qu’elles contiennent, et cette relation est ce qui se dégrade en premier.

Les erreurs les plus fréquentes

• Traiter une calibration comme définitive plutôt que périssable.
• Accepter une calibration sans son incertitude associée.
• Négliger la synchronisation sur un porteur en mouvement.
• Ne pas écrire la règle de priorité en cas de contradiction.
• Supposer que tout le nuage dispose d’une image correspondante.
• Ignorer la différence d’occlusion entre les deux points de vue.
• Attribuer une couleur d’avant-plan à un point d’arrière-plan.
• Contrôler l’alignement uniquement sur des scènes statiques.
• Omettre de dater les acquisitions et de les rattacher à une calibration.
• Compter sur la couleur là où le champ de vue de la caméra ne porte pas.

Les configurations multi-caméras

Une extension fréquente complique la fusion et elle mérite d’être exposée.Plusieurs caméras entourent le capteur de distance pour couvrir son champ complet.Quatre difficultés en découlent en annotation 3D.Chaque caméra demande sa propre calibration, ce qui multiplie les relations à établir et à maintenir.Les zones de recouvrement reçoivent deux couleurs possibles, ce qui appelle une règle de choix.Les réglages d’exposition diffèrent entre caméras, ce qui produit une discontinuité colorimétrique sur un même objet.Et un objet à cheval sur deux champs reçoit une apparence composite qui peut égarer un annotateur.Une observation importante en découle pour un projet d’annotation 3D. La troisième difficulté est la plus visible et la plus déroutante, un véhicule traversant la frontière entre deux champs changeant de teinte sans changer de nature, ce qu’une convention doit signaler explicitement.

Ce que l’outillage doit permettre

Cinq fonctions conditionnent le travail sur une scène fusionnée.L’affichage simultané du nuage et de l’image, avec une correspondance visuelle entre les deux vues.La désignation croisée, un point sélectionné dans une vue s’illuminant dans l’autre.Le basculement entre nuage coloré et nuage brut, qui permet de vérifier ce que la couleur masque.L’affichage du niveau de confiance de la projection lorsqu’il est disponible.Et la possibilité d’annoter depuis l’une ou l’autre vue selon ce qui est le plus commode.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. La troisième fonction est la plus déterminante pour la qualité, un nuage coloré paraissant complet là où la géométrie sous-jacente est éparse, illusion qu’un basculement lève immédiatement.

Les métadonnées d’une scène fusionnée

Six informations accompagnent une livraison multi-capteurs et leur absence limite l’exploitation.L’identifiant de la calibration employée, avec sa date d’établissement.Les paramètres internes et externes eux-mêmes, sans lesquels la projection ne se reproduit pas.L’incertitude associée, qui borne la confiance accordée à la correspondance.L’horodatage de chaque source, qui permet de vérifier la synchronisation.La part du nuage couverte par image, qui borne l’apport réel.Et la règle de priorité appliquée en cas de contradiction.Une observation en découle pour un projet d’annotation 3D. La première métadonnée est celle dont l’absence se paie le plus tard, un corpus mêlant des acquisitions calibrées différemment présentant une qualité de projection inégale que rien ne signale.

Le radar comme troisième source

Un capteur complémentaire apparaît dans certaines configurations et son apport diffère des deux précédents.Le radar mesure une distance et une vitesse radiale avec très peu de points.Trois apports caractérisent ce capteur.La vitesse mesurée directement, information qu’aucune des deux autres sources ne fournit sans comparer deux instants.La robustesse aux conditions dégradées, pluie et brouillard l’affectant peu.Et la portée, supérieure à celle de nombreux capteurs optiques.Trois limites l’accompagnent.La résolution spatiale est très faible, ce qui interdit toute délimitation.Les réflexions multiples produisent des détections fantômes.Et la hauteur est souvent mal résolue, ce qui empêche de distinguer un obstacle au sol d’un portique au dessus.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Ces limites font du radar une source d’attributs plutôt que de géométrie, sa contribution consistant à enrichir un objet déjà délimité par les autres capteurs plutôt qu’à le délimiter lui-même.

Ce que la fusion change au chiffrage

Quatre effets modifient une estimation et deux d’entre eux vont dans le sens inverse de l’intuition.La cadence augmente sur les classes ambiguës, ce qui réduit le temps par objet dans les scènes complexes.La part exploitable de chaque scène s’élargit, ce qui augmente le nombre d’objets annotables à durée d’acquisition égale.Le contrôle devient plus rapide, la revue visuelle par projection remplaçant une navigation lente dans le nuage.Et le volume de données croît, ce qui pèse sur le transfert et le stockage plutôt que sur l’annotation.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Le deuxième effet est le plus souvent oublié dans un chiffrage, une même acquisition produisant davantage d’objets annotables lorsqu’une image accompagne le nuage, ce qui augmente la facture tout en améliorant le corpus.

Le premier lot d’un projet fusionné

Quatre scènes composent un lot pilote qui éprouve la configuration autant que les conventions.Une scène statique de courte distance, qui vérifie l’alignement dans les conditions les plus favorables.Une scène comportant des objets lointains, où l’erreur angulaire se manifeste.Une scène avec un objet en mouvement rapide, qui révèle un défaut de synchronisation.Et une scène en éclairage difficile, contre-jour ou faible lumière, qui mesure l’apport réel de l’image dans les conditions où elle est le moins fiable.Une observation en découle. La quatrième scène est celle qui manque le plus souvent, un lot pilote conduit en bonnes conditions surestimant systématiquement l’apport de la caméra et produisant une cadence annoncée que la production ne retrouvera pas en annotation 3D.

La question qui cadre la fusion

Une question détermine si cette configuration apporte réellement quelque chose.Quelle proportion des décisions de classe la géométrie seule laisse-t-elle indécises.Une réponse faible, catalogue fermé ou objets géométriquement distincts, rend la fusion peu rentable au regard des contraintes qu’elle impose.Une réponse élevée, scène urbaine ou nomenclature distinguant des matériaux, la rend déterminante.Cette question se mesure sur un lot pilote plutôt qu’elle ne se devine, et elle évite d’imposer une exigence de calibration à un projet que la géométrie seule aurait servi.

Trois vérifications avant de produire

Trois contrôles suffisent à qualifier une configuration fusionnée.Projeter le nuage sur l’image et examiner les contours à courte puis à longue distance, ce qui sépare une erreur de translation d’une erreur angulaire.Chercher une scène contenant un objet rapide, seul révélateur d’un défaut de synchronisation.Et mesurer la part du nuage effectivement couverte par une image, valeur qui borne l’apport réel de la configuration.Ces trois contrôles occupent une heure sur un échantillon, ils précèdent toute production, et ils évitent d’annoter un corpus entier avec une projection dont personne n’aura vérifié la validité.

Ce que la fusion engage sur la durée

Trois conséquences dépassent le projet initial.Un corpus fusionné dépend de la configuration matérielle qui l’a produit, un changement de capteur ou de montage rendant les nouvelles acquisitions différentes des anciennes.Un système entraîné sur une donnée fusionnée suppose la même fusion en production, ce qui lie le déploiement à un équipement particulier.Et la conservation des paramètres de calibration devient indispensable, sans eux la projection ne se reproduit plus et le corpus perd son second canal.Une observation en découle pour un projet d’annotation 3D. La deuxième conséquence est la plus structurante et la moins anticipée, un client ne pouvant pas déployer sur un matériel plus simple un système entraîné sur une configuration riche.

Trois décisions avant la première acquisition

Trois décisions conditionnent l’exploitabilité d’un corpus fusionné.Établir et documenter la calibration avec son incertitude, plutôt que la supposer fournie par le constructeur.Fixer la règle de priorité entre sources en cas de contradiction, avec l’attribut qui la signale.Et prévoir la revérification périodique de l’alignement, dont la fréquence dépend du porteur et des conditions.Ces trois décisions coûtent une réunion et une heure de vérification, elles précèdent la première scène, et leur absence produit un corpus dont la couleur induit en erreur sans que rien ne le signale.

Ce qu’il faut retenir

La fusion ajoute une relation géométrique entre capteurs, et cette relation conditionne la validité de tout ce que la combinaison permet.Trois lectures se dégagent. Une calibration est périssable, vibrations, variations thermiques et maintenance la dégradant progressivement, ce qui impose de dater les acquisitions et de les rattacher à une calibration donnée. La vérification sur objets mobiles est la plus efficace et la moins pratiquée, un objet rapide révélant en une image un décalage temporel qu’aucune scène fixe ne montrerait. Et une règle de priorité entre sources doit être écrite, faute de quoi chaque annotateur tranche les contradictions selon sa préférence.Pour l’outillage qui rend cette configuration exploitable, l’article consacré aux outils d’annotation 3D détaille les options. Pour le cadre général, le guide de l’annotation 3D pose le panorama.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous préparez un corpus multi-capteurs, échangeons sur votre projet.