Segmentation d’images pour la conduite autonome

La conduite autonome impose ce qu’aucun autre vertical n’exige simultanément : décrire toute la scène sans exception, distinguer chaque objet individuellement, et le faire de façon cohérente d’une image à la suivante. Ces trois contraintes se cumulent et déterminent le coût. Cet article expose ce que ce contexte demande. Il prolonge l’article consacré à la segmentation d’images satellites.

Ce qui distingue ce contexte

Cinq propriétés séparent ce vertical de la segmentation d’images des autres. L’exhaustivité est imposée, un système de navigation ne pouvant ignorer une zone. Les objets dénombrables coexistent avec les matières continues dans chaque image. L’occlusion est permanente, la vue au sol superposant tout ce qu’elle observe. La scène défile, ce qui ajoute une exigence de cohérence temporelle. Et les conditions varient fortement, nuit, pluie et contre-jour appartenant au domaine d’emploi. Une conséquence pratique importante en découle. Ces cinq propriétés font de ce vertical celui où la formulation panoptique s’impose plutôt qu’elle ne se choisit, aucune formulation plus simple ne couvrant le besoin.

Ce que l’exhaustivité impose

Cette exigence gouverne le vertical et elle a une justification directe. Un système qui ignore une zone la traite comme libre. Trois conséquences en découlent en segmentation d’images. Aucune classe fourre-tout ne peut absorber ce qui n’a pas été identifié sans conséquence. Les zones lointaines et peu résolues doivent recevoir une classe malgré leur incertitude. Et le ciel lui-même constitue une classe à part entière, son absence laissant un trou dans la carte. Une observation importante en découle pour un projet de segmentation d’images. La première conséquence distingue ce vertical, une classe indéterminée y devant signifier obstacle potentiel plutôt que zone sans intérêt.

Ce que le mouvement ajoute

Quatre effets découlent du défilement de la scène en segmentation d’images. Une même zone est observée plusieurs fois sous des angles voisins, ce qui crée une redondance exploitable. Une incohérence entre images successives se voit à la lecture de la séquence. Le flou de mouvement dégrade les frontières sur les objets proches et rapides. Et un objet apparaît puis disparaît, ce qui pose la question du moment de sa première et de sa dernière annotation. Une conséquence pratique s’ensuit. Le deuxième effet fournit un contrôle propre à ce vertical, la lecture accélérée d’une séquence annotée révélant des sautes de classe qu’un examen image par image ne montrerait pas.

Les classes qui posent problème

Cinq catégories concentrent les désaccords sur ce vertical. La limite entre chaussée et accotement, souvent progressive et pourtant déterminante. Les marquages au sol, qui appartiennent à la chaussée ou constituent une classe propre. Les objets partiellement sur la chaussée, roue d’un véhicule stationné ou branche basse. La végétation en surplomb, qui occupe l’espace sans occuper le sol. Et les objets dont la nature reste indécidable à distance, silhouette lointaine ou masse sombre. Une observation importante en découle. La première catégorie mérite un traitement particulier, la limite de circulabilité étant l’information la plus directement exploitée par le système et la moins nette dans l’image.

Ce que les conditions dégradées imposent

Quatre situations appartiennent au domaine d’emploi et non aux exceptions. La nuit, où les objets non éclairés se distinguent mal du fond. La pluie, qui produit des reflets et modifie l’apparence de la chaussée. Le contre-jour, qui sature une part de l’image. Et le brouillard ou la neige, qui réduisent fortement la portée utile. Une conséquence pratique importante en découle pour un projet de segmentation d’images. Ces quatre situations doivent figurer dans le corpus en proportion suffisante, un système entraîné sur des conditions favorables échouant précisément lorsque la conduite devient difficile.

La cohérence temporelle

Cette exigence est propre à ce vertical de la segmentation d’images. Elle mérite un traitement séparé. Une même zone annotée différemment d’une image à l’autre produit une instabilité que le système reproduira. Quatre situations la mettent en défaut en segmentation d’images. Un objet dont la classe change en cours de séquence sans que la scène change. Une frontière de chaussée qui oscille d’une image à la suivante sans raison. Un objet apparaissant tardivement alors qu’il était visible plus tôt. Et un objet conservé bien après sa sortie du champ utile. Une observation en découle. Ces quatre situations se détectent par lecture de séquence plutôt que par examen isolé, ce qui rend ce contrôle spécifique à ce vertical et absent des autres.

La distance d’annotation

Une décision de périmètre propre à ce vertical mérite d’être exposée. Un objet lointain occupe peu de pixels et sa délimitation devient arbitraire. Trois options coexistent pour un projet de segmentation d’images. Annoter tout ce qui est visible, ce qui produit des régions de quelques pixels dont la forme ne signifie rien. Fixer un seuil de taille en dessous duquel l’objet rejoint une classe générique. Et fixer un seuil de distance au delà duquel une zone entière est marquée comme lointaine et non détaillée. Une conséquence pratique importante en découle. La troisième option est la plus cohérente avec l’usage, un système de conduite n’agissant pas sur ce qui se situe au delà d’une certaine distance, ce qui rend inutile un détail que le corpus paierait pourtant.

Ce que le contrôle qualité exploite

Cinq vérifications de segmentation d’images conviennent à ce contexte. La couverture complète, aucun pixel ne restant sans classe. La stabilité de la classe d’une zone le long d’une séquence. La plausibilité des positions, un véhicule ne pouvant occuper certaines zones de l’image. La continuité de la surface de chaussée, dont une interruption signale une omission. Et la proportion de chaque classe par condition d’éclairage, révélatrice d’un déséquilibre dans le corpus. Une conséquence pratique s’ensuit pour un projet de segmentation d’images. La deuxième vérification est propre à ce vertical et très efficace, une saute de classe sur une zone immobile signalant une erreur que rien d’autre ne révèle.

Ce que ce travail coûte

Quatre facteurs déterminent la charge de segmentation d’images sur ce vertical. L’exhaustivité, qui interdit d’ignorer les zones sans intérêt immédiat. La densité d’objets, une scène urbaine et une route dégagée ne se comparant pas. La séparation d’instances sur les objets accolés, véhicules en file notamment. Et la longueur des séquences, la cohérence temporelle s’ajoutant au travail par image. Une observation en découle. Le premier facteur produit un coût que les commanditaires anticipent mal, la description du fond représentant souvent plus de travail que celle des objets qui intéressent le système.

Ce que l’assistance apporte ici

Trois observations situent l’aide automatique sur ce vertical. La propagation entre images successives fonctionne bien sur les zones stables. La désignation sert les objets dénombrables et pas les matières continues. Et la pré-annotation par modèle progresse vite sur les classes courantes de ce domaine, qui sont largement documentées. Une conséquence pratique importante en découle. Le premier constat est propre à ce vertical, la redondance entre images successives offrant un levier que les autres contextes de segmentation d’images n’ont pas.

Ce que le corpus doit couvrir

Cinq axes définissent la couverture d’un corpus de segmentation d’images sur ce vertical. Les conditions d’éclairage et météorologiques, du plein jour à la nuit pluvieuse. Les types de voie, autoroute, urbain dense, rural et zones de travaux. Les densités de trafic, du dégagé au congestionné. Les configurations rares, obstacle inhabituel ou véhicule atypique. Et les géographies couvertes, la signalisation et les usages variant d’un pays à l’autre. Une observation importante en découle pour un projet de segmentation d’images. Le quatrième axe est le plus difficile à couvrir et le plus déterminant, les défaillances d’un système de conduite portant précisément sur ce qu’il n’a jamais rencontré.

Aborder un projet de conduite autonome

Cinq questions cadrent un projet de segmentation d’images sur ce vertical. Quelles classes doivent être dénombrées. Cette réponse fixe la part instance du travail. Jusqu’à quelle distance l’annotation est-elle exigée. Cette réponse borne le volume. Quelles conditions dégradées figurent au corpus. Leur absence limite le domaine d’emploi. La cohérence temporelle est-elle contrôlée. Son absence laisse passer des instabilités. Et comment se traitent les objets indécidables à distance. Leur classe doit clairement signifier prudence. Ces cinq réponses déterminent la charge et la validité du corpus. Les poser avant de commencer évite un corpus qui décrit bien les situations faciles.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen. Ce vertical cumule les contraintes que les autres rencontrent séparément. Trois constats la composent. L’exhaustivité et le dénombrement s’imposent ensemble, ce qui rend la formulation panoptique obligatoire plutôt que choisie. La séquence fournit un levier et une exigence, la redondance accélérant le travail et la cohérence temporelle s’ajoutant au contrôle. Et une classe indéterminée y signifie obstacle potentiel, ce qui interdit la classe fourre-tout des autres verticaux. Ce constat clôt la série des verticaux, chacun ayant montré une contrainte que les conventions générales doivent absorber.

Les erreurs les plus fréquentes

• Employer une classe fourre-tout sans lui donner le sens d’obstacle potentiel.
• Négliger la limite entre chaussée et accotement.
• Constituer un corpus dominé par les conditions favorables.
• Ne pas contrôler la cohérence de classe le long d’une séquence.
• Omettre les zones lointaines sous prétexte d’incertitude.
• Traiter les marquages au sol sans règle explicite.
• Sous-estimer le coût de description du fond.
• Négliger la propagation entre images comme levier de cadence.
• Omettre les configurations rares du plan d’échantillonnage.
• Supposer qu’un corpus couvre une géographie qu’il n’a pas visitée.

Ce que la propagation entre images apporte

Un levier propre à ce vertical mérite un traitement séparé. La redondance entre images successives permet de réutiliser le travail déjà fait. Quatre bénéfices en découlent pour un projet de segmentation d’images. Les zones stables se propagent avec un simple ajustement plutôt qu’un tracé neuf. La cohérence temporelle s’obtient par construction sur les zones propagées. Le travail se concentre sur ce qui change réellement d’une image à l’autre. Et la cadence croît avec la fréquence d’échantillonnage, deux images rapprochées ne différant que peu. Trois réserves l’accompagnent. Une erreur propagée se répète sur toute la séquence. La propagation lisse les changements réels lorsqu’elle est acceptée sans examen. Et le mouvement du porteur déplace toute la scène, ce qui limite la propagation directe aux fréquences élevées.

La hiérarchie de gravité des erreurs

Une particularité de ce vertical mérite d’être posée. Toutes les erreurs de segmentation d’images n’y ont pas la même conséquence. Quatre niveaux se distinguent. Un obstacle classé comme espace libre, erreur la plus grave puisqu’elle autorise un mouvement dangereux. Un espace libre classé comme obstacle, gênant mais conservateur. Une confusion entre deux classes d’obstacles, dont l’effet dépend du comportement attendu. Et une imprécision de frontière sur une zone qui est déjà correctement classée. Une conséquence pratique importante en découle. Cette hiérarchie doit se refléter dans le contrôle, un échantillonnage uniforme accordant la même attention aux quatre niveaux alors que le premier justifie un examen renforcé.

Le référentiel à écrire

Six décisions composent le référentiel d’un projet de segmentation d’images destiné à ce vertical. La liste des classes avec leur statut, dénombrable ou continu, héritée de la formulation panoptique. La règle de placement de la limite entre chaussée et accotement. Le traitement des marquages au sol et des joints de revêtement. La distance au delà de laquelle une zone n’est plus détaillée. Le sens attribué à la classe indéterminée, obstacle potentiel plutôt que zone sans intérêt. Et le traitement des objets partiellement en surplomb, végétation basse ou signalisation. Une observation en découle. La dernière décision est la moins évidente, un objet occupant l’espace sans occuper le sol posant une question que la représentation en deux dimensions ne permet pas de trancher seule.

Le lot pilote sur ce vertical

Quatre séquences composent un lot pilote de segmentation d’images adapté à ce vertical. Une séquence en conditions favorables et trafic modéré, qui fournit la cadence de référence. Une séquence urbaine dense, qui mesure le facteur de coût dominant et éprouve la séparation d’instances. Une séquence en conditions dégradées, nuit ou pluie, qui révèle la chute de cadence réelle. Et une séquence comportant une zone de travaux, qui teste les classes atypiques et la consigne de signalement. Une observation en découle. L’écart de cadence entre la première et la troisième séquence est la donnée la plus utile de ce lot, elle chiffre un facteur que les commanditaires ignorent et qui détermine le coût dès que le corpus doit couvrir le domaine d’emploi réel.

Ce que la segmentation apporte à la perception

Une observation situe cette tâche parmi les autres sources de la perception embarquée. Quatre apports sont propres à la segmentation d’images ici. La surface circulable, information continue qu’aucune boîte ne décrit. La délimitation d’objets de forme irrégulière, végétation ou obstacle atypique. Le contact entre régions, une roue touchant la chaussée ou un piéton s’en approchant. Et la couverture des zones que la nomenclature d’objets ne prévoit tout simplement pas. Une conséquence pratique s’ensuit pour un projet de segmentation d’images. Le premier apport justifie à lui seul cette tâche dans une chaîne de perception, la surface circulable étant l’information qui décide du mouvement et celle qu’aucune autre représentation ne fournit.

Ce que le corpus doit déclarer

Six informations accompagnent une livraison de segmentation d’images destinée à ce vertical. La liste des classes avec leur statut et le sens exact de la classe indéterminée. La distance au delà de laquelle les zones ne sont plus détaillées. La répartition du corpus par condition d’éclairage et de météorologie. La répartition par type de voie et par densité de trafic. Le dispositif de contrôle de cohérence temporelle appliqué. Et la liste des configurations non couvertes, qui borne explicitement le domaine d’emploi. Une conséquence pratique s’ensuit. La troisième information est celle qui manque le plus souvent et celle qui prédit le mieux le comportement du système, une répartition déséquilibrée annonçant une défaillance dans les conditions sous-représentées.

La question qui cadre le corpus

Une question détermine ce que le corpus doit couvrir. Dans quelles conditions le système sera-t-il autorisé à fonctionner. Une réponse restrictive, autoroute par beau temps, réduit considérablement le corpus et permet une couverture solide de ce domaine étroit. Une réponse ouverte, tout type de voie et toute condition, impose une campagne qui couvre délibérément la nuit, la pluie et les configurations rares. Cette question relève de la définition du produit et non de l’annotation, elle se pose au commanditaire du système plutôt qu’à l’acheteur du corpus, et elle détermine le budget davantage que le nombre d’images.

Trois décisions avant la première séquence

Trois décisions engagent un projet de segmentation d’images sur ce vertical. Fixer la distance au delà de laquelle une zone n’est plus détaillée, qui borne le volume sans réduire l’utilité. Donner à la classe indéterminée le sens d’obstacle potentiel, décision de nomenclature aux conséquences directes. Et arrêter la répartition du corpus par condition, en s’appuyant sur le domaine d’emploi visé plutôt que sur ce qui a été filmé. Ces trois décisions coûtent une réunion, elles précèdent la première séquence, et leur absence produit un corpus volumineux qui décrit surtout les situations où la conduite est facile.

Ce que ce vertical apporte aux autres

Trois pratiques nées ici valent au delà de la conduite autonome. La hiérarchie de gravité des erreurs, applicable partout où une confusion de classe a des conséquences inégales selon le sens de l’erreur. Le contrôle par lecture de séquence, transposable dès que les images d’un corpus se suivent dans le temps. Et la classe indéterminée porteuse d’un sens actif plutôt que d’un rejet, nécessaire chaque fois qu’une zone non identifiée doit déclencher une prudence. Une observation en découle. Ces trois pratiques répondent à une même situation, celle où l’annotation alimente une décision automatique et non une analyse humaine, configuration qui déplace la question de la justesse vers celle de la conséquence.

Ce que les configurations rares exigent

Une difficulté domine la constitution d’un corpus sur ce vertical. Les défaillances portent sur ce que le système n’a jamais rencontré. Trois méthodes permettent de récupérer ces configurations en segmentation d’images. La collecte prolongée, qui finit par les rencontrer et coûte un temps considérable. La mise en scène sur circuit fermé, praticable pour certaines situations et impossible pour d’autres. Et la sollicitation d’un modèle existant, dont les détections incertaines localisent les scènes atypiques au sein d’un fonds déjà collecté. Une conséquence pratique importante en découle. La troisième méthode est la plus efficace et la moins employée, un fonds de séquences non annotées contenant déjà les cas rares qu’une collecte supplémentaire chercherait, ce qui déplace le problème de l’acquisition vers la sélection.

Ce que ce chapitre clôt

Les trois verticaux examinés ont montré la même chose sous trois formes. Le médical a montré une limite venant du jugement expert, documentée avant le projet. Le satellitaire a montré une limite venant de la donnée, l’image ne portant pas les frontières demandées. Et la conduite autonome montre une limite venant de l’usage, la conséquence d’une erreur variant selon son sens. Ces trois limites appellent la même réponse, une convention écrite et déclarée, ce qui explique que les chapitres suivants portent sur le coût, la qualité et les formats plutôt que sur de nouveaux domaines.

Trois contrôles à mettre en place

Trois vérifications traitent l’essentiel des défauts propres à ce vertical. Le contrôle de couverture, qui détecte tout pixel resté sans classe. La lecture accélérée de séquence, qui révèle les sautes de classe sur les zones immobiles. Et le comptage de la répartition par condition, qui montre si le corpus couvre le domaine d’emploi annoncé. Ces trois contrôles s’exécutent sur un export livré, ils ne demandent aucune référence externe, et ils couvrent respectivement l’exhaustivité, la cohérence temporelle et la représentativité, les trois exigences que ce vertical cumule.

Ce qu’il faut retenir

La conduite autonome impose l’exhaustivité, le dénombrement et la cohérence temporelle simultanément. Trois lectures se dégagent. La formulation panoptique s’y impose plutôt qu’elle ne s’y choisit, aucune formulation plus simple ne couvrant le besoin. Une classe indéterminée y signifie obstacle potentiel, ce qui interdit la classe fourre-tout que les autres verticaux emploient. Et la lecture de séquence fournit un contrôle propre à ce contexte, une saute de classe sur une zone immobile signalant une erreur qu’un examen image par image ne montrerait pas. Pour la dimension économique de ces exigences, l’article consacré au coût de la segmentation d’images décompose les postes. Pour la mesure de qualité, l’article sur les métriques de segmentation détaille les indicateurs. Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous préparez un corpus de perception embarquée, échangeons sur votre projet.