Occlusion et troncature – annoter ce qu’on ne voit pas

Un objet à moitié caché pose une question que sa forme ne résout pas. Faut-il entourer ce qu’on voit, ou ce qu’on devine, et à partir de quel degré de masquage cesse-t-on de l’annoter du tout.Cet article expose ces règles. Il prolonge l’article consacré aux boîtes orientées.

Ce qui masque un objet

Cinq causes réduisent la partie visible d’un objet.Un autre objet venant se placer devant lui.Le bord de l’image, qui vient le couper sans le cacher.Une zone d’ombre profonde ou bien une surexposition.Un élément de la scène qui vient le traverser.Et l’objet lui-même, dont une partie vient se cacher derrière l’autre.Une conséquence pratique importante en découle. Ces cinq causes appellent des règles différentes en bounding box, le bord de l’image ne cachant rien mais interdisant de deviner, alors qu’un objet devant un autre laisse la déduction possible.

Ce que la boîte peut représenter

Trois conventions de bounding box se rencontrent face à un objet masqué.La boîte tracée autour de la seule partie visible.La boîte tracée autour de l’objet entier, partie cachée comprise.Et la boîte autour de la seule partie visible, complétée par un attribut.Une observation importante en découle pour un projet de bounding box. La troisième convention concilie les deux premières, la boîte restant vérifiable puisqu’elle décrit ce qui se voit, l’attribut indiquant que l’objet dépasse ce cadre, ce qui laisse l’usage décider de ce qu’il en fait.

Ce que deviner suppose

Quatre conditions rendent une extrapolation acceptable en bounding box.Une partie visible assez large pour reconnaître l’objet.Une forme suffisamment régulière permettant de prolonger le contour.Une cause de masquage clairement identifiable dans la scène.Et une convention écrite autorisant explicitement une telle déduction.Une conséquence pratique s’ensuit. Ces quatre conditions manquent souvent ensemble, un objet dont on ne voit qu’un fragment appelant une extrapolation que rien ne guide, ce qui produit des boîtes dont l’étendue dépend de l’imagination de chacun.

Ce que le bord de l’image change

Cinq particularités distinguent la troncature de la simple occlusion.La partie manquante n’existe absolument nulle part dans l’image.Aucun indice ne permet vraiment d’en estimer l’étendue.La coupure suit une ligne droite dont la position est parfaitement connue.Un objet tronqué demeure pourtant souvent identifiable.Et la proportion visible se calcule alors facilement.Une observation en découle. La deuxième particularité tranche le débat, l’extrapolation au-delà du bord relevant de l’invention plutôt que de la déduction, ce qui rend la boîte limitée à l’image préférable dans presque tous les cas.

Ce que les attributs permettent de conserver

Cinq informations se joignent utilement à une boîte d’objet masqué.La proportion visible de l’objet, exprimée par tranches plutôt qu’en valeur exacte.La cause du masquage, occlusion par un objet ou troncature par le bord.Le côté par lequel l’objet vient se poursuivre hors du cadre.Le degré de certitude portant sur l’identification de l’objet.Et l’indication d’une auto-occultation par la forme même de l’objet.Une conséquence pratique importante en découle. La première information gagne à rester grossière, une estimation par tranches se reproduisant d’un opérateur à l’autre alors qu’un pourcentage exact varie considérablement, ce qui rend l’attribut approximatif plus fiable que l’attribut précis.

Ce que le seuil de visibilité fixe

Cinq effets accompagnent le choix de ce seuil en bounding box.Le nombre d’objets qu’il faut annoter par image.Le temps passé sur les cas les plus difficiles.La proportion d’objets à peine reconnaissables dans le corpus.La cohérence entre opérateurs face aux cas limites.Et la capacité du système à détecter ensuite des objets partiellement cachés.Une conséquence pratique importante en découle pour un projet de bounding box. Le dernier effet s’oppose aux trois premiers, un seuil élevé produisant un corpus propre et un système incapable de reconnaître ce qu’il n’a jamais vu, ce qui fait de ce seuil un arbitrage plutôt qu’un réglage de qualité.

Aborder la question de l’occlusion

Cinq questions cadrent l’occlusion sur un projet de bounding box.La boîte couvre-t-elle le visible ou l’objet entier. Il faut choisir.Le bord de l’image suit-il la même règle. Il ne devrait pas.Quel seuil de visibilité s’applique. Il pèse sur le corpus.Un attribut d’occultation existe-t-il. Il évite de trancher.Et les objets masqués comptent-ils dans l’usage. Cela change tout.Ces cinq réponses déterminent la cohérence du corpus. Les poser avant la production évite des boîtes dont l’étendue varie selon l’opérateur.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen.Annoter ce qu’on ne voit pas demande une règle et non un talent.Trois constats la composent.Le bord de l’image ne cache rien mais interdit de deviner.Un objet dont on ne voit qu’un fragment appelle une extrapolation que rien ne guide.Et un seuil élevé produit un corpus propre et un système démuni.Ce constat prolonge les chapitres précédents, l’ambiguïté portant ici sur l’étendue de l’objet plutôt que sur ses limites.

Les erreurs les plus fréquentes

• Appliquer la même règle à l’occlusion et à la troncature.
• Extrapoler au-delà du bord de l’image.
• Laisser le seuil de visibilité à l’appréciation de chacun.
• Omettre l’attribut signalant qu’un objet est masqué.
• Exclure les objets masqués alors que l’usage les rencontre.
• Deviner l’étendue d’un objet dont on ne voit qu’un fragment.
• Confondre objet masqué et objet indéterminé.
• Mesurer la qualité sans distinguer les objets masqués des autres.
• Changer de seuil en cours de projet sans reprendre l’existant.
• Négliger l’auto-occultation d’un objet par sa propre forme.

Ce que la mesure doit distinguer ici

Quatre indicateurs se ventilent selon le degré de masquage.Le taux d’omission, toujours très supérieur sur les objets partiellement cachés.Le désaccord portant sur l’étendue de la boîte, propre aux objets masqués.La justesse de la classe attribuée sur une partie visible réduite.Et la cohérence des attributs d’occultation constatée entre opérateurs.Une observation importante en découle pour un projet de bounding box. Le premier indicateur justifie à lui seul cette ventilation, un corpus affichant un bon taux global pouvant manquer la moitié des objets partiellement cachés, ce qui reste invisible tant que la mesure ne sépare pas les deux populations.

Ce que l’auto-occultation ajoute

Quatre situations font qu’un objet se cache lui-même.Une partie de l’objet vient passer derrière une autre.Une articulation vient replier l’objet sur lui-même.Une face tournée à l’opposé du point de vue disparaît.Et un objet creux vient dissimuler son propre intérieur.Une conséquence pratique importante en découle pour un projet de bounding box. Ces quatre situations échappent souvent à la consigne, un référentiel décrivant le masquage par un autre objet sans rien dire de celui que l’objet s’inflige, ce qui laisse chaque opérateur décider si la boîte englobe la partie repliée ou seulement ce qui se voit.

Trois décisions avant de produire

Trois décisions engagent le traitement des objets masqués en bounding box.Choisir entre la seule partie visible et l’objet entier, puis l’écrire.Distinguer explicitement la troncature par le bord de la simple occlusion.Et fixer le seuil de visibilité en deçà duquel un objet n’est pas annoté.Ces trois décisions coûtent une demi-heure, elles précèdent la première image, et leur absence produit des boîtes dont l’étendue varie sans que rien ne l’explique.

La question qui cadre la règle

Une question détermine le traitement des objets masqués en bounding box.Le système devra-t-il rencontrer des objets partiellement cachés.Une scène toujours dégagée, un contrôle en ligne ou un fond neutre, autorise un seuil élevé et un corpus composé d’objets pleinement visibles.Une scène encombrée, une rue ou un entrepôt, impose d’annoter les objets masqués sous peine de livrer un système aveugle à la situation la plus courante.Cette question relève des conditions d’usage et non du confort d’annotation, elle se pose avant la première image, et elle sépare un corpus propre d’un corpus utile.

Trois vérifications sur une consigne d’occlusion

Trois contrôles qualifient une règle de bounding box sur ce sujet.La distinction écrite entre occlusion et troncature par le bord.Le seuil de visibilité, chiffré plutôt que laissé au jugement.Et l’existence d’un attribut signalant le masquage.Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence technique, et leur absence indique un corpus dont les objets masqués seront traités de trois façons différentes.

Ce que le prestataire apporte ici

Quatre apports distinguent une prestation sérieuse sur ce sujet.Une règle distinguant l’occlusion de la troncature dès le cadrage.Un attribut de masquage systématiquement renseigné.Une mesure du taux d’omission ventilée par degré de visibilité.Et des exemples visuels couvrant les cas limites du seuil retenu.Une conséquence pratique importante en découle. Le deuxième apport coûte peu et change la valeur du corpus, un attribut renseigné permettant au client d’écarter ou de conserver les objets masqués selon ses besoins, ce qui remplace une décision prise une fois pour toutes par un choix qu’il pourra revoir.

Ce que le corpus doit couvrir ici

Cinq situations méritent une place explicite dans le corpus.Des objets pleinement visibles, servant de référence.Des objets masqués à des degrés variés jusqu’au seuil retenu.Des objets coupés par chacun des quatre bords de l’image.Des objets se masquant mutuellement dans une scène dense.Et des objets dont une partie se cache derrière eux-mêmes.Une observation importante en découle pour un projet de bounding box. La deuxième situation manque le plus souvent, un corpus opposant des objets entiers à des objets absents ne préparant pas aux cas intermédiaires, ce qui produit un système efficace aux deux extrémités et hésitant sur toute la zone entre les deux.

Ce que ce chapitre laisse au suivant

Un objet minuscule pose une difficulté voisine et pourtant distincte.Trois questions restent ouvertes en bounding box.À partir de quelle taille un objet cesse d’être annotable.Ce qu’une scène comptant des centaines d’objets change à la méthode.Et comment mesurer la qualité là où chaque objet ne fait que quelques pixels.Ces trois questions relèvent des petits objets et des scènes denses, qui constituent l’objet du chapitre suivant.

Ce que la cadence perd aux objets masqués

Quatre facteurs allongent le temps passé sur un objet partiellement caché.L’identification de l’objet à partir d’une portion réduite.L’estimation de sa proportion visible pour l’attribut.L’hésitation devant le seuil lorsque le cas est limite.Et le recours au contexte pour trancher ce que l’objet montre.Une conséquence pratique importante en découle pour un projet de bounding box. Le troisième facteur se réduit fortement par le cadrage, un seuil accompagné d’exemples visuels dispensant l’opérateur de toute délibération, ce qui transforme une hésitation répétée des milliers de fois en une reconnaissance immédiate.

Trois erreurs propres à ce sujet

Trois défauts de bounding box tiennent aux objets masqués.Une même règle appliquée à l’occlusion et à la troncature.Une extrapolation au-delà du bord, qui invente une étendue.Et un seuil de visibilité choisi pour le confort d’annotation.Ces trois défauts produisent des boîtes plausibles prises isolément, ils apparaissent en comparant plusieurs annotations d’une même scène, et leur point commun est de porter sur ce que l’image ne montre pas.

Ce que l’annotateur doit savoir ici

Cinq connaissances conditionnent un travail correct sur ce sujet.La convention finalement retenue, visible seul ou objet entier deviné.La règle distincte applicable au bord de l’image.Le seuil de visibilité ainsi que les exemples qui l’illustrent.Les attributs qu’il faut renseigner selon la cause du masquage.Et la conduite à tenir devant un objet devenu tout à fait méconnaissable.Une observation importante en découle pour un projet de bounding box. La dernière connaissance évite un défaut répandu, un opérateur devinant la classe d’un objet réduit à quelques pixels visibles produisant une annotation confiante sur une identification qu’il n’a pas faite, ce qui vaut mieux d’être signalé que tranché.

Ce que le format de livraison exige ici

Quatre choix conditionnent l’exploitation d’un corpus comportant des objets masqués.La présence d’un attribut d’occultation sur chacune des boîtes.La distinction entre masquage par un objet et coupure par le bord.L’indication du seuil de visibilité effectivement appliqué au corpus.Et la mention explicite de la convention d’étendue finalement retenue.Une conséquence pratique importante en découle pour un projet de bounding box. Le troisième choix conditionne toute comparaison ultérieure, deux corpus produits sous des seuils différents affichant des densités d’objets incomparables, ce qui fausse aussi bien une évaluation qu’une estimation de volume à annoter.

Ce que la pré-annotation change ici

Quatre effets suivent l’emploi d’une proposition automatique.Les objets bien visibles reçoivent alors une boîte fiable.Les objets fortement masqués se trouvent fréquemment omis.Les attributs d’occultation ne sont pour ainsi dire jamais proposés.Et l’opérateur passe en revue ce qui existe plutôt que ce qui manque.Une observation importante en découle pour un projet de bounding box. Le dernier effet aggrave précisément le défaut de ce chapitre, un opérateur vérifiant des propositions cessant de chercher les objets partiellement cachés qu’aucune boîte ne signale, ce qui concentre les omissions sur la population qui en souffrait déjà le plus.

Ce que le premier lot doit établir

Quatre résultats justifient un lot d’essai avant la production.La proportion exacte d’objets partiellement masqués dans les scènes réelles.Le taux d’accord obtenu entre opérateurs sur l’étendue de ces boîtes.La liste des cas où le seuil s’est révélé difficile à appliquer.Et l’écart de cadence constaté entre objets visibles et objets masqués.Une conséquence pratique importante en découle pour un projet de bounding box. Le premier résultat surprend régulièrement les deux parties, une proportion d’objets masqués bien supérieure à l’attendu transformant une règle marginale en règle principale, ce qui justifie parfois de revoir le seuil avant même de commencer.

Ce que le client doit trancher ici

Quatre décisions appartiennent au client plutôt qu’au prestataire.L’importance réelle des objets masqués dans l’usage qu’il prévoit.Le seuil précis en deçà duquel un objet ne l’intéresse plus.La conduite attendue devant un objet coupé par le bord de l’image.Et l’utilité des attributs d’occultation dans sa chaîne de traitement.Une observation importante en découle pour un projet de bounding box. La première décision se prend mal sans expérience du terrain, un client imaginant ses scènes plus dégagées qu’elles ne le sont sous-estimant systématiquement la place des objets masqués, ce qui rend un examen conjoint de quelques images réelles plus éclairant que toute discussion de principe.

Ce que ce chapitre partage avec les précédents

Trois constats reviennent depuis le début du parcours.Une mesure globale masque un échec sur une population particulière.Un attribut conservé vaut mieux qu’une décision prise à la place du client.Et la pré-annotation aggrave le défaut propre à chaque chapitre.Une conséquence pratique importante en découle pour un projet de bounding box. Le troisième constat se vérifie une fois de plus ici, une aide automatique renforçant toujours ce que le corpus savait déjà faire, ce qui rend son emploi d’autant plus risqué que le sujet du chapitre porte sur les cas difficiles.

Ce que le contrôle doit viser ici

Quatre dispositifs conviennent aux objets masqués.Une double annotation portant sur les seules scènes les plus encombrées.Un contrôle séparé du taux d’omission selon le degré de visibilité.Une comparaison des attributs d’occultation renseignés entre opérateurs.Et une relecture ciblée des objets proches du seuil retenu.Une observation importante en découle pour un projet de bounding box. Le dernier dispositif concentre l’effort là où il rapporte, un objet nettement au-dessus ou en dessous du seuil ne posant aucune difficulté alors que la zone frontière rassemble presque tous les désaccords, ce qui rend un contrôle ciblé plus efficace qu’une relecture uniforme.

Ce que le seuil change à l’économie du projet

Quatre effets accompagnent un abaissement du seuil de visibilité.Le nombre d’objets qu’il faut annoter augmente sensiblement par image.Le temps par objet croît sur la population ajoutée.Le contrôle qualité s’alourdit nettement sur les cas frontière.Et la valeur du corpus augmente pour les usages en scène encombrée.Une conséquence pratique importante en découle pour un projet de bounding box. Ces quatre effets rendent le seuil directement chiffrable, un abaissement se traduisant par un surcoût mesurable et un gain d’usage estimable, ce qui permet de trancher par le calcul là où la discussion tourne habituellement à l’appréciation.

Ce que ce sujet a de particulier

Quatre traits distinguent cette question des autres du parcours.Elle porte sur une information que l’image ne contient tout simplement pas.Elle concerne une population entière plutôt que des cas isolés.Elle se mesure mal sans ventiler par degré de visibilité.Et elle décide de ce que le système saura faire en conditions réelles.Une observation importante en découle pour un projet de bounding box. Le dernier trait justifie l’attention portée à ce chapitre, les scènes réelles présentant presque toujours plus d’objets masqués que les images de démonstration, ce qui fait de cette règle la différence la plus fréquente entre un système qui impressionne et un système qui fonctionne.

Ce qu’il faut retenir

L’étendue d’un objet masqué relève de la convention plutôt que de l’observation.Trois lectures se dégagent. Le bord de l’image ne cache rien mais interdit de deviner, ce qui distingue la troncature de l’occlusion et rend la boîte limitée à l’image préférable dans presque tous les cas. Un objet dont on ne voit qu’un fragment appelle une extrapolation que rien ne guide, ce qui produit des boîtes dont l’étendue dépend de l’imagination de chacun et impose une règle explicite. Et un seuil de visibilité élevé produit un corpus propre et un système incapable de reconnaître ce qu’il n’a jamais vu, ce qui en fait un arbitrage plutôt qu’un réglage de qualité.Pour les objets minuscules, l’article consacré aux petits objets et scènes denses détaille la démarche. Pour les formats de fichier, l’article sur les formats COCO, YOLO et Pascal VOC les compare.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous préparez un projet de détection, échangeons sur votre besoin.