Toutes les erreurs d’annotation ne se valent pas. Certaines se diluent dans le volume et disparaissent, d’autres orientent durablement le comportement du système. Savoir lesquelles décide de l’usage d’un budget de correction toujours limité.Cet article expose ces effets. Il prolonge l’article consacré à la
mesure de qualité.
Ce que le bruit produit
Cinq défauts se répartissent au hasard dans un corpus de bounding box.Un serrage tantôt trop large, tantôt beaucoup trop étroit.Une hésitation ponctuelle en faveur d’une classe voisine.Un objet oublié au milieu d’une image très chargée.Une boîte tracée très légèrement de travers.Et un cas limite tranché différemment selon le moment de la journée.Une conséquence pratique importante en découle. Ces cinq défauts se compensent partiellement à grande échelle, leurs effets s’annulant lorsqu’ils ne suivent aucune direction, ce qui les rend nettement moins dommageables que leur fréquence ne le laisse craindre.
Ce que le biais produit
Cinq défauts de bounding box suivent au contraire une direction constante.Un serrage systématiquement trop large sur une classe entière.Une classe rare toujours confondue avec la même classe voisine.Les objets masqués omis de manière parfaitement régulière.Les petits objets systématiquement ignorés en deçà d’un certain seuil.Et une convention appliquée à l’envers par un opérateur entier.Une observation importante en découle pour un projet de bounding box. Ces cinq défauts ne se compensent jamais, le système apprenant la règle fausse aussi bien qu’il aurait appris la bonne, ce qui les rend bien plus coûteux qu’un bruit dix fois plus fréquent.
Ce que l’omission enseigne
Quatre effets suivent un objet bien présent et pourtant non annoté.Le système apprend alors que cet objet ne doit pas être détecté.L’apprentissage porte sur l’apparence exacte de l’objet omis.Les objets qui lui ressemblent deviennent moins bien détectés.Et la mesure de qualité usuelle ne signale rien du tout.Une conséquence pratique s’ensuit. Le deuxième effet explique la gravité de ce défaut, une omission concentrée sur les objets difficiles enseignant précisément à ignorer les cas que l’usage rendait importants, ce qui inverse l’objectif du corpus sur la population qui comptait le plus.
Ce que la classe fausse produit
Quatre effets suivent une erreur de classification en bounding box.Deux classes voisines deviennent alors partiellement interchangeables.La frontière entre les deux se brouille dans tout le corpus.Le système finit par hésiter là où le référentiel hésitait déjà.Et la classe la moins fréquente en souffre bien davantage.Une observation en découle. Le dernier effet mérite attention, une confusion répartie également entre deux classes pesant beaucoup plus lourd sur la classe rare que sur la classe fréquente, ce qui rend une même erreur d’autant plus grave qu’elle touche une population réduite.
Ce que la boîte en trop produit
Quatre effets suivent une boîte tracée sans objet correspondant.Le système apprend à détecter une simple portion de fond ordinaire.Les fausses détections se concentrent ensuite sur ce type de fond.Le défaut se repère à la relecture, contrairement à l’omission.Et il se corrige sans avoir à réexaminer les images dans leur entier.Une conséquence pratique importante en découle pour un projet de bounding box. Ces quatre effets rendent ce défaut nettement moins grave que son symétrique, une boîte en trop restant visible et corrigeable à faible coût, ce qui justifie d’accepter un peu de sur-annotation plutôt que de risquer une omission.
Ce que la hiérarchie des corrections suppose
Cinq critères ordonnent les reprises lorsque le budget est fini.Le caractère systématique du défaut plutôt que sa seule fréquence.La population touchée, qu’elle soit rare ou courante.La proximité du défaut avec l’usage final prévu.La possibilité de corriger par une règle plutôt qu’au cas par cas.Et le coût unitaire de la correction actuellement envisagée.Une conséquence pratique importante en découle pour un projet de bounding box. Le premier critère renverse la hiérarchie spontanée, un défaut rare mais systématique méritant d’être corrigé avant un défaut fréquent mais aléatoire, ce qui conduit à traiter d’abord ce que le rapport de qualité signale le moins.
Aborder une campagne de correction
Cinq questions cadrent une reprise sur un projet de bounding box.Le défaut est-il systématique. Cela change tout.Touche-t-il une classe rare. Le poids relatif augmente.L’omission est-elle en cause. C’est le défaut le plus grave.Une règle corrigerait-elle l’ensemble. Sinon le coût explose.Et le défaut concerne-t-il l’usage. Sinon il peut attendre.Ces cinq réponses déterminent l’usage du budget de reprise. Les poser avant de corriger évite de dépenser sur ce qui se compensait tout seul.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.La direction d’une erreur compte davantage que sa fréquence.Trois constats la composent.Des défauts sans direction se compensent partiellement à grande échelle.Un défaut systématique s’apprend aussi bien qu’une règle correcte.Et une omission concentrée sur les cas difficiles inverse l’objectif du corpus.Ce constat prolonge le chapitre précédent, la mesure y devenant un outil de décision plutôt qu’un simple constat.
Les erreurs les plus fréquentes
- Corriger d’abord les défauts les plus fréquents.
- Traiter un biais systématique comme du bruit ordinaire.
- Négliger l’omission parce qu’aucun indicateur ne la signale.
- Ignorer le poids relatif d’une erreur sur une classe rare.
- Corriger au cas par cas ce qu’une règle règlerait.
- Reprendre des écarts que le seuil rendait acceptables.
- Confondre gravité et visibilité d’un défaut.
- Corriger sans vérifier que la consigne d’origine était claire.
- Dépenser un budget de reprise sans hiérarchie établie.
- Supposer qu’un défaut corrigé ne réapparaîtra pas.
Ce que la répartition des défauts révèle
Quatre observations distinguent un bruit ordinaire d’un problème de fond.Un défaut réparti également entre tous les opérateurs signale la consigne.Un défaut concentré sur un seul opérateur signale la formation.Un défaut concentré sur une seule classe signale le référentiel.Et un défaut concentré sur un seul lot signale la source des images.Une observation importante en découle pour un projet de bounding box. Ces quatre lectures se font sans compétence particulière, la seule répartition d’un défaut désignant sa cause probable, ce qui évite de chercher longtemps ce qu’un simple tri par opérateur ou par classe fait apparaître.
Ce que la correction par règle permet
Quatre situations se corrigent sans rouvrir chaque image.Un décalage constant de coordonnées lié à une conversion antérieure.Une classe entière renommée ou bien fusionnée avec une autre.Un seuil de taille appliqué après coup à l’ensemble du corpus.Et un attribut ajouté par déduction depuis les données existantes.Une conséquence pratique importante en découle pour un projet de bounding box. Ces quatre situations coûtent quelques heures là où une reprise manuelle coûterait des semaines, ce qui rend la question de la corrigibilité par règle plus déterminante que l’ampleur apparente du défaut.
Trois décisions avant de corriger
Trois décisions engagent une campagne de reprise en bounding box.Distinguer les défauts systématiques des défauts purement aléatoires.Vérifier si une règle corrigerait l’ensemble plutôt qu’un par un.Et traiter l’omission avant n’importe quel autre défaut.Ces trois décisions coûtent une demi-journée d’analyse, elles précèdent la reprise, et leur absence conduit à dépenser sur ce qui se compensait tout seul.
La question qui cadre la reprise
Une question détermine l’usage du budget de correction en bounding box.Le défaut suit-il une direction ou se répartit-il au hasard.Une répartition aléatoire, un serrage variable ou une hésitation ponctuelle, se dilue dans le volume et ne justifie une reprise que si elle devient massive.Une direction constante, une classe toujours confondue ou une population toujours omise, s’apprend intégralement et justifie une correction même sur un petit nombre d’objets.Cette question relève de la structure du défaut et non de son volume, elle se pose avant d’engager la reprise, et elle sépare une dépense utile d’une dépense de confort.
Trois vérifications avant d’engager une reprise
Trois contrôles orientent une correction de bounding box.La répartition du défaut par opérateur, par classe ainsi que par lot.L’existence d’une règle capable de corriger l’ensemble d’un coup.Et la clarté de la consigne d’origine sur le point précis en cause.Ces trois contrôles se mènent en quelques heures, ils ne demandent qu’un tri des données existantes, et leur absence conduit à reprendre un travail que la même consigne reproduira ensuite à l’identique.
Ce que le prestataire apporte ici
Quatre apports distinguent une reprise de bounding box bien conduite.Un tri des défauts par répartition avant d’engager toute correction.Une distinction explicite entre bruit et biais dans le rapport.Une correction par règle chaque fois que celle-ci est possible.Et une reprise du référentiel menée en même temps que celle des données.Une conséquence pratique importante en découle. Le dernier apport évite la dépense la plus absurde, une reprise conduite sans corriger la consigne d’origine produisant exactement le même défaut sur les lots suivants, ce qui fait payer deux fois une correction que personne n’a rendue durable.
Ce que le corpus tolère réellement
Quatre facteurs déterminent la quantité de défauts supportable.Le volume total du corpus, qui vient diluer le bruit.La fréquence de la classe directement concernée par le défaut.La proximité entre le défaut constaté et la décision finale.Et l’existence d’autres exemples corrects portant sur le même cas.Une observation importante en découle pour un projet de bounding box. Le dernier facteur explique pourquoi une classe rare pardonne si peu, un objet vu cent fois supportant quelques annotations fausses alors qu’un objet vu dix fois n’en supporte aucune, ce qui rend l’exigence de qualité inversement proportionnelle à la fréquence.
Ce que ce chapitre laisse au suivant
La plupart de ces défauts remontent à une consigne mal écrite.Trois questions restent ouvertes en bounding box.Ce qu’une consigne doit contenir pour être appliquée partout de la même façon.Pourquoi un exemple visuel transmet mieux qu’un paragraphe.Et comment faire vivre un référentiel tout au long du projet.Ces trois questions relèvent de la rédaction des consignes, qui constitue l’objet du chapitre suivant.
Trois erreurs propres à la correction
Trois défauts de bounding box tiennent à la reprise elle-même.Une correction engagée sur le défaut le plus visible plutôt que sur le plus grave.Une reprise entièrement manuelle là où une simple règle aurait suffi.Et une donnée corrigée sans que la consigne d’origine le soit également.Ces trois défauts consomment un budget sans améliorer le corpus autant qu’attendu, ils se constatent au lot suivant, et leur point commun est de traiter le symptôme sans remonter à ce qui l’a produit.
Ce que le client doit trancher ici
Quatre décisions appartiennent au client plutôt qu’au prestataire.Les classes dont la justesse pèse le plus lourd sur son usage.Le type d’erreur qu’il préfère voir subsister dans le corpus.Le budget qu’il consacre à la reprise plutôt qu’au volume produit.Et le moment précis où il juge le corpus suffisant.Une conséquence pratique importante en découle pour un projet de bounding box. La deuxième décision se pose rarement et oriente tout, un client acceptant quelques boîtes en trop obtenant un corpus plus complet qu’un client exigeant zéro fausse détection, ce qui rend ce choix plus déterminant que le niveau de qualité annoncé.
Ce que ce chapitre partage avec les précédents
Trois constats reviennent depuis le début du parcours.Le défaut le plus grave est celui qui ne se voit pas.Une population réduite supporte bien moins d’erreurs qu’une population abondante.Et corriger la donnée sans corriger la consigne ne règle rien.Une observation importante en découle pour un projet de bounding box. Le premier constat se vérifie une dernière fois ici, l’omission restant le défaut le plus coûteux et le seul qu’aucun examen du livrable ne révèle, ce qui achève de justifier le dispositif de mesure décrit au chapitre précédent.
Ce que la pré-annotation ajoute comme défaut
Quatre défauts propres accompagnent une proposition automatique.Un biais de serrage hérité de l’outil plutôt que du référentiel.Une omission concentrée sur les objets que l’outil ne détecte pas.Une validation bien trop rapide des propositions vraisemblables.Et une homogénéité qui donne seulement l’apparence de la cohérence.Une conséquence pratique importante en découle pour un projet de bounding box. Ces quatre défauts sont tous systématiques par nature, un outil se trompant toujours de la même façon là où un opérateur varie, ce qui les place d’emblée dans la catégorie la plus coûteuse décrite par ce chapitre.
Ce que ce sujet a de particulier
Quatre traits distinguent cette question des autres du parcours.Elle se pose une fois le travail fait et le budget largement consommé.Elle oppose la gravité réelle d’un défaut à sa simple visibilité.Elle conduit à corriger ce que le rapport signale le moins.Et elle rend une hiérarchie bien plus utile qu’un effort supplémentaire.Une observation importante en découle pour un projet de bounding box. Le troisième trait rend ce chapitre contre-intuitif, la démarche naturelle consistant à traiter d’abord ce qui apparaît en tête du rapport, ce qui conduit régulièrement à dépenser sur du bruit pendant qu’un biais discret continue de s’apprendre.
Ce que la reprise coûte réellement
Quatre postes composent la dépense d’une correction.L’identification des images réellement concernées par le défaut.La reprise elle-même, qu’elle soit manuelle ou par règle.Le contrôle vérifiant que la correction a bien porté.Et la réécriture du référentiel sur le point précis en cause.Une conséquence pratique importante en découle pour un projet de bounding box. Le premier poste surprend souvent, retrouver les objets touchés par un défaut coûtant parfois plus cher que les corriger, ce qui rend un corpus bien documenté nettement moins cher à reprendre qu’un corpus livré sans traçabilité.
Trois questions à poser devant un défaut constaté
Trois questions précèdent toute décision de reprise.Le défaut se répartit-il au hasard ou suit-il une direction.Touche-t-il une classe abondante ou une classe rare.Et la consigne d’origine était-elle claire sur ce point.Ces trois questions se posent en quelques minutes, elles ne demandent qu’un tri des annotations existantes, et leur absence conduit à corriger sans savoir si la correction tiendra.
Ce que le déséquilibre entre classes produit
Quatre effets accompagnent un corpus où les classes sont inégalement représentées.La classe la plus abondante domine ce que le système apprend.La classe rare devient détectée avec beaucoup moins de fiabilité.Une confusion entre les deux se règle au profit de la plus fréquente.Et le taux global reste pourtant excellent malgré cet échec.Une observation importante en découle pour un projet de bounding box. Le troisième effet aggrave le déséquilibre initial, un système hésitant entre deux classes choisissant celle qu’il a le plus vue, ce qui pénalise deux fois la classe rare et rend son enrichissement plus utile que n’importe quelle correction.
Ce que ce chapitre suppose du prestataire
Quatre pratiques distinguent une reprise utile d’une reprise cosmétique.Signaler un biais même lorsqu’il touche peu d’objets.Proposer une correction par règle plutôt que facturer du volume.Réécrire la consigne en même temps que les données.Et dire quand une reprise ne servirait à rien.Une conséquence pratique importante en découle. La dernière pratique va contre l’intérêt immédiat du prestataire, une reprise facturée sur du bruit rapportant autant qu’une reprise utile, alors que seule la seconde justifie qu’on revienne vers lui pour le corpus suivant.
Ce que l’ordre des lots change
Quatre effets suivent la position d’un défaut dans le calendrier.Un défaut présent dès le premier lot touche l’ensemble du corpus.Un défaut apparu tardivement ne concerne qu’une fraction des données.Un défaut corrigé tôt ne se retrouve pas dans les lots suivants.Et un défaut découvert à la livraison affecte tout ce qui a été produit.Une observation importante en découle pour un projet de bounding box. Ces quatre effets font du calendrier de contrôle un levier de coût plus puissant que sa couverture, un premier lot examiné sérieusement épargnant une reprise proportionnelle à tout le reste du corpus.
Ce que la reprise ne rattrape pas
Quatre situations résistent à toute correction ultérieure.Une convention inadaptée à l’usage dès le départ.Un seuil de taille ayant écarté des objets qui comptaient.Une classe absente du référentiel initial.Et des images que le corpus n’a jamais couvertes.Une conséquence pratique importante en découle pour un projet de bounding box. Ces quatre situations demandent une production nouvelle plutôt qu’une reprise, ce qui les rend incomparablement plus coûteuses et confirme que le cadrage décide de ce qu’aucune correction ne pourra sauver.
Ce que l’annotateur doit savoir ici
Quatre connaissances aident l’opérateur à limiter les défauts coûteux.La différence entre une hésitation isolée et une habitude prise.Le poids particulier des classes rares dans le corpus.La gravité d’une omission comparée à celle d’une boîte en trop.Et l’intérêt de signaler un doute plutôt que de trancher toujours pareil.Une observation importante en découle pour un projet de bounding box. La dernière connaissance évite précisément le défaut le plus coûteux, un opérateur qui tranche systématiquement dans le même sens transformant une incertitude en biais, ce qui montre qu’une hésitation signalée vaut mieux qu’une décision constante et fausse.
Ce qu’il faut retenir
Un défaut systématique coûte plus cher qu’un défaut dix fois plus fréquent.Trois lectures se dégagent. Des défauts sans direction se compensent partiellement à grande échelle, ce qui les rend moins dommageables que leur fréquence ne le laisse craindre et déplace l’effort de correction ailleurs. Un défaut systématique s’apprend aussi bien qu’une règle correcte, ce qui le rend bien plus coûteux qu’un bruit abondant et justifie de le traiter en priorité. Et une omission concentrée sur les objets difficiles enseigne à ignorer précisément les cas que l’usage rendait importants, ce qui inverse l’objectif du corpus sur la population qui comptait le plus.Pour la rédaction du référentiel, l’article consacré aux
consignes d’annotation détaille la démarche. Pour l’automatisation, l’article sur la
pré-annotation l’expose.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous préparez un projet de détection,
échangeons sur votre besoin.
