La bounding box est la géométrie la plus simple qu’un annotateur puisse tracer. Elle est aussi celle qui produit le plus de désaccords, parce que sa simplicité apparente dispense de poser les questions que toute autre géométrie oblige à trancher.Cet article ouvre un parcours consacré à cette géométrie et à ses conventions.
Ce qu’une boîte représente réellement
Cinq définitions de la bounding box coexistent dans les projets.Le plus petit rectangle contenant la seule partie visible de l’objet.Le plus petit rectangle contenant l’objet entier, parties cachées comprises.Le rectangle contenant la seule partie identifiable de l’objet.Le rectangle englobant l’objet ainsi que ses accessoires attenants.Et le rectangle tracé autour de ce que l’usage final devra effectivement localiser.Une conséquence pratique importante en découle. Ces cinq définitions produisent des boîtes toutes différentes sur la même image, ce qui rend un corpus incohérent dès lors que la convention n’a pas été écrite avant la toute première annotation.
Les usages qui structurent ce format
Six applications reposent sur cette géométrie.La détection d’objets présents dans une scène.Le comptage d’éléments répétés sur une même image.Le suivi d’un même objet d’une image à la suivante.L’extraction d’une zone en vue d’un traitement ultérieur.La recherche d’un élément au sein d’un grand volume d’images.Et la préparation d’un travail de segmentation plus fin.Une observation importante en découle pour un projet de bounding box. Le dernier usage justifie souvent ce format à lui seul, une boîte servant simplement à délimiter la zone que le tracé précis viendra ensuite affiner, ce qui en fait une étape plutôt qu’un livrable final.
Ce que ce format économise
Cinq avantages expliquent la domination de la bounding box.Un temps de tracé nettement inférieur à celui des autres géométries.Une prise en main immédiate, même par un opérateur non spécialiste.Une représentation compacte en quatre nombres.Une compatibilité avec la plupart des outils et des modèles.Et une vérification visuelle très rapide par un relecteur.Une conséquence pratique s’ensuit. Le premier avantage se paie sur la précision, une boîte incluant toujours une part de fond autour de l’objet, ce qui rend ce format inadapté dès que la surface exacte compte.
Ce que ce format ne peut pas exprimer
Cinq limites de la bounding box reviennent dans tous les projets.La forme réelle d’un objet qui n’est pas rectangulaire.La séparation nette de deux objets qui se chevauchent.L’orientation d’un objet allongé et fortement incliné.La partie cachée d’un objet partiellement masqué.Et la distinction entre l’objet et son environnement immédiat.Une observation en découle. La deuxième limite pèse le plus dans les scènes denses, deux boîtes se recouvrant largement ne disant nullement lequel des deux objets occupe la zone commune.
Ce que le référentiel de classes ajoute
Cinq décisions accompagnent la définition des classes.Le nombre de classes retenues ainsi que leur proximité mutuelle.La règle applicable à un objet dont la classe est incertaine.Le traitement d’un objet visible mais non identifiable.L’existence d’une classe fourre-tout ainsi que son périmètre exact.Et la hiérarchie éventuelle établie entre classes voisines.Une observation importante en découle pour un projet de bounding box. La troisième décision revient plus souvent qu’on ne l’imagine, un objet clairement présent mais trop flou pour être classé plaçant l’annotateur devant un choix que rien n’a jamais tranché, ce qui produit soit une omission soit un classement arbitraire selon l’opérateur.
Ce que la convention doit fixer
Six points se décident avant toute production de bounding box.Le traitement réservé aux parties cachées d’un objet.Le sort réservé à un objet coupé par le bord de l’image.Le seuil de taille en deçà duquel un objet est ignoré.Le seuil de visibilité en deçà duquel un objet n’est pas annoté.L’inclusion ou non des éléments attenants à l’objet.Et la marge tolérée entre le tracé de la boîte et l’objet.Une conséquence pratique importante en découle pour un projet de bounding box. Ces six points paraissent mineurs et déterminent l’essentiel du taux de désaccord, un référentiel qui les laisse implicites produisant des divergences que les annotateurs ne signaleront jamais puisqu’ils ignorent qu’ils divergent.
Aborder un projet de détection
Cinq questions cadrent un projet de bounding box.Que doit contenir la boîte. Cinq définitions coexistent.Que faire des parties cachées. La règle doit être écrite.Quel seuil de taille s’applique. Il pèse sur le coût.Les objets coupés sont-ils annotés. Le bord divise les avis.Et la surface exacte importe-t-elle. Sinon ce format suffit.Ces cinq réponses déterminent la cohérence du corpus. Les poser avant la production évite un jeu de données dont personne ne saura reconstituer la convention.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cette ouverture.La simplicité de cette géométrie dispense de poser les bonnes questions.Trois constats la composent.Cinq définitions de la boîte coexistent et produisent des résultats différents.Une boîte inclut toujours du fond autour de l’objet.Et des annotateurs qui divergent ne le signalent pas puisqu’ils l’ignorent.Ce constat ouvre les quatorze chapitres suivants, chacun revenant sur une convention qu’un projet croit évidente.
Les erreurs les plus fréquentes
- Lancer la production sans avoir défini ce que la boîte contient.
- Laisser implicite le traitement des parties cachées.
- Omettre la règle applicable aux objets coupés par le bord.
- Choisir ce format alors que la surface exacte compte.
- Négliger le seuil de taille et son effet sur le coût.
- Supposer que deux annotateurs traceront la même boîte.
- Confondre boîte lâche et boîte tolérante aux erreurs.
- Ignorer l’ambiguïté des zones de recouvrement.
- Changer de convention en cours de projet sans reprendre l’existant.
- Mesurer la qualité sans mesurer l’accord entre opérateurs.
Ce que la mesure doit refléter
Cinq indicateurs décrivent la qualité d’un corpus de bounding box.La proportion d’objets bien présents et pourtant non annotés.La proportion de boîtes tracées sans aucun objet correspondant.Le recouvrement moyen entre boîtes de deux opérateurs.La justesse de la classe attribuée.Et la cohérence du traitement réservé aux cas limites.Une conséquence pratique importante en découle. Le troisième indicateur est le seul qui révèle un désaccord de convention, deux boîtes correctes selon deux définitions différentes se recouvrant imparfaitement sans qu’aucune des deux soit fausse, ce qui en fait un signal de cadrage plutôt qu’un signal de qualité.
Ce que la cadence de ce travail suppose
Cinq facteurs déterminent le temps passé par image.Le nombre d’objets réellement présents dans la scène.La proportion d’objets se trouvant partiellement masqués.La finesse du référentiel de classes.Le seuil de taille finalement retenu pour les petits objets.Et la fréquence des cas que la consigne ne tranche pas.Une observation importante en découle pour un projet de bounding box. Le dernier facteur coûte davantage qu’il n’y paraît, chaque cas non tranché venant interrompre le travail et appeler un arbitrage, ce qui rend une consigne complète plus rentable qu’un opérateur rapide.
Trois décisions avant de produire
Trois décisions engagent un projet de bounding box.Écrire ce que la boîte contient, cinq définitions coexistant.Fixer la règle applicable aux parties cachées et aux objets coupés.Et arrêter le seuil de taille en deçà duquel un objet n’est pas annoté.Ces trois décisions coûtent une réunion, elles précèdent la première image, et leur absence produit un corpus dont personne ne saura reconstituer la convention.
Ce que les formats de fichier imposent
Cinq différences séparent les formats courants de bounding box.Le système de coordonnées employé, absolu ou relatif à l’image.La description de la boîte, par coins ou par centre et dimensions.L’origine des axes, placée en haut à gauche ou bien ailleurs.La façon dont les classes sont nommées ou numérotées.Et la place réservée aux éventuels attributs supplémentaires.Une conséquence pratique importante en découle pour un projet de bounding box. La deuxième différence provoque des erreurs de conversion silencieuses, une boîte décrite par son centre et interprétée par ses coins produisant un rectangle décalé mais parfaitement plausible, ce qui laisse un défaut passer tous les contrôles automatiques.
Ce que le corpus doit couvrir ici
Cinq axes structurent un dataset de bounding box.Les tailles d’objets rencontrées, du plus petit détectable au plus grand.Les niveaux d’occultation, de l’objet dégagé au largement masqué.Les densités de scène, depuis l’objet isolé jusqu’à la foule.Les conditions de prise de vue ainsi que d’éclairage.Et les classes rares, systématiquement sous-représentées.Une observation importante en découle pour un projet de bounding box. Le troisième axe se néglige le plus souvent, un corpus constitué de scènes toujours lisibles ne préparant nullement au cas où vingt objets se chevauchent, ce qui produit un détecteur satisfaisant en démonstration et décevant en usage réel.
La question qui cadre le projet
Une question détermine le choix de cette géométrie.L’usage demande-t-il de localiser ou de mesurer.Localiser, détecter, compter ou suivre un objet, se satisfait pleinement d’un rectangle et n’exige aucune géométrie plus fine.Mesurer, calculer une surface ou séparer deux objets accolés, réclame un contour et rend le rectangle insuffisant quelle que soit sa précision.Cette question relève de l’usage final et non du budget, elle se pose avant la première image, et elle sépare une économie légitime d’un corpus qu’il faudra refaire.
Trois vérifications sur un corpus existant
Trois contrôles qualifient un jeu de bounding box déjà constitué.La définition écrite de ce que la boîte contient.La règle effectivement appliquée aux objets coupés par le bord de l’image.Et le taux d’accord mesuré entre deux opérateurs sur les mêmes images.Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence technique, et leur absence indique un corpus dont la cohérence repose sur des habitudes plutôt que sur une règle.
Ce que le prestataire apporte ici
Quatre apports distinguent une prestation de bounding box menée sérieusement.Un référentiel écrit tranchant les cas limites bien avant la production.Une mesure d’accord entre opérateurs sur une fraction du corpus.Une couverture délibérée des scènes denses ainsi que des objets masqués.Et une conversion de format vérifiée visuellement plutôt que simplement supposée.Une conséquence pratique importante en découle. Le premier apport se remarque peu et évite le défaut le plus répandu, un référentiel de quelques pages coûtant bien moins qu’une seule journée de production alors qu’il détermine la cohérence de l’ensemble, ce qui en fait l’investissement le plus rentable de ce type de projet.
Ce que le premier lot doit établir
Quatre résultats justifient un lot d’essai avant la production.Le nombre moyen d’objets réellement rencontrés par image.Le taux d’accord obtenu entre deux opérateurs sur les mêmes images.La proportion de cas que la consigne ne tranche pas encore.Et le temps réel passé sur une image jugée représentative.Une observation importante en découle pour un projet de bounding box. Le troisième résultat vaut plus que les autres au démarrage, chaque cas remonté par un opérateur devenant aussitôt une règle écrite qui ne se posera plus, ce qui fait du premier lot un exercice de rédaction du référentiel autant qu’une mesure de cadence.
Ce que ce parcours va traiter
Quatre familles de questions occupent les chapitres suivants.Le choix de la géométrie ainsi que le niveau de précision utile.Les situations difficiles, occultation, petits objets, scènes denses.Les aspects opérationnels, à savoir formats, coût, qualité et consignes.Et les prolongements, à savoir la vidéo, la troisième dimension et l’automatisation.Une observation importante en découle pour un projet de bounding box. Ces quatre familles reviennent toutes sur une convention qu’un projet croit évidente, ce qui explique qu’un format aussi simple occupe quinze chapitres alors qu’il tient en quatre nombres.
Ce que l’annotateur doit savoir ici
Cinq connaissances conditionnent un travail correct sur ce format.La définition finalement retenue de ce que la boîte doit contenir.La règle applicable aux parties cachées d’un objet.Le seuil précis en deçà duquel un objet ne s’annote pas.La distinction entre un objet mal visible et un objet réellement absent.Et le moment précis où il faut signaler plutôt que trancher seul.Une conséquence pratique importante en découle pour un projet de bounding box. La dernière connaissance protège la cohérence de l’ensemble, un opérateur qui tranche seul un cas non prévu créant une convention parallèle que personne d’autre ne connaît, ce qui produit un corpus cohérent par opérateur et incohérent globalement.
Ce que le format de livraison exige ici
Quatre choix conditionnent la reprise du corpus par le client.Le format de fichier retenu ainsi que sa convention de coordonnées.Les attributs joints à chaque boîte, tels qu’occultation ou troncature.Le marquage des images vérifiées et sans objet à annoter.Et la documentation complète du référentiel remise avec les données.Une observation importante en découle pour un projet de bounding box. Le troisième choix évite une ambiguïté coûteuse, une image dépourvue de boîte pouvant signifier qu’elle ne contient aucun objet ou bien qu’elle n’a pas été traitée, distinction qu’aucune inspection du fichier ne permet de rétablir après coup.
Ce que la pré-annotation permet ici
Trois usages allègent sensiblement le travail sur ce format.Une proposition de boîtes portant sur les objets bien contrastés.Un signalement automatique des images sans aucun objet détecté.Et une vérification automatique des boîtes manifestement aberrantes.Deux réserves l’accompagnent en bounding box.Une proposition automatique applique sa propre convention, rarement celle du projet.Et un opérateur qui valide sans ajuster reproduit ce décalage sur tout le corpus.
Trois erreurs propres à ce format
Trois défauts de bounding box tiennent à sa simplicité même.Une convention laissée implicite au seul motif qu’elle paraissait évidente.Une boîte parfaitement correcte selon une définition et fausse selon une autre.Et une conversion de format produisant un décalage tout à fait plausible.Ces trois défauts ne se voient pas sur une image isolée, ils se révèlent au moment où le corpus sert, et leur point commun est de tenir au cadrage plutôt qu’au geste de l’annotateur.
Ce que le client doit fournir ici
Quatre éléments viennent du client plutôt que du prestataire.L’usage final auquel le corpus se trouve destiné.Le sens exact de chacune des classes du référentiel.Les cas d’objets qu’il considère comme limites.Et le format précis attendu par sa propre chaîne de traitement.Une conséquence pratique importante en découle pour un projet de bounding box. Le troisième élément se demande rarement et se révèle décisif, un client sachant d’expérience quels objets posent problème dans son domaine évitant au prestataire de découvrir ces cas un par un pendant la production.
Ce que ce format change à l’économie d’un projet
Quatre effets distinguent le budget d’un projet de bounding box.Le coût par objet demeure faible comparé à celui des autres géométries.Le volume traité devient donc le facteur dominant.La densité d’objets pèse alors davantage que le simple nombre d’images.Et le cadrage initial représente une part inhabituellement élevée du total.Une observation importante en découle. Le dernier effet surprend souvent, la rédaction du référentiel et les arbitrages initiaux pesant proportionnellement plus que sur une géométrie coûteuse, ce qui rend ce format économique en production et exigeant en préparation.
Ce que ce chapitre laisse au suivant
Le rectangle n’est qu’une géométrie parmi plusieurs.Trois questions restent ouvertes en bounding box.Quand un polygone justifie réellement son surcoût par rapport à une boîte.Ce qu’un masque apporte que ni l’un ni l’autre ne donnent.Et comment décider sans surinvestir ni avoir à refaire le corpus.Ces trois questions relèvent du choix de géométrie, qui constitue l’objet du chapitre suivant.
Ce que ce format a de particulier
Quatre traits distinguent cette géométrie des autres.Elle s’apprend en quelques minutes et ne se maîtrise que bien plus lentement.Ses défauts tiennent au seul cadrage plutôt qu’à la dextérité de l’opérateur.Sa simplicité apparente décourage l’écriture d’un référentiel.Et son coût unitaire faible pousse à traiter de très grands volumes.Une conséquence pratique importante en découle pour un projet de bounding box. Ces quatre traits se combinent défavorablement, un format facile, employé sur de gros volumes et sans référentiel écrit, produisant une incohérence massive et peu visible, ce qui explique que les corpus les plus décevants soient souvent les plus simples à produire.
Ce que la révision d’un référentiel impose
Quatre situations obligent à reprendre une convention en cours de projet.Un cas devenu fréquent que la consigne initiale ne prévoyait pas.Une classe ajoutée bien après le démarrage de la production.Un usage final précisé plus tard que ne l’a été le cadrage.Et un désaccord persistant entre deux opérateurs pourtant expérimentés.Une observation importante en découle pour un projet de bounding box. La dernière situation signale presque toujours une ambiguïté du référentiel plutôt qu’une faute, deux opérateurs compétents ne divergeant durablement que là où la règle admet bien deux lectures, ce qui fait de leur désaccord un outil de diagnostic plutôt qu’un problème à corriger.
Ce qu’il faut retenir
La géométrie la plus simple est celle dont les conventions se négligent le plus.Trois lectures se dégagent. Cinq définitions de la boîte coexistent et produisent des rectangles différents sur la même image, ce qui rend un corpus incohérent dès que la convention n’a pas été écrite avant la première annotation. Une boîte inclut toujours du fond autour de l’objet, ce qui rend ce format inadapté dès que la surface exacte compte et impose de choisir la géométrie d’après l’usage plutôt que d’après le budget. Et des annotateurs qui divergent ne le signalent jamais puisqu’ils ignorent qu’ils divergent, ce qui rend la mesure d’accord entre opérateurs plus informative que n’importe quelle relecture.Pour choisir entre géométries, l’article consacré au
choix du niveau de précision détaille la comparaison. Pour la méthode de tracé, l’article sur les
règles de tightness l’expose. Pour les formats de fichier, l’article sur les
formats COCO, YOLO et Pascal VOC les compare.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous préparez un projet de détection,
échangeons sur votre besoin.
