Un rapport de qualité tient souvent en un pourcentage. Ce chiffre unique cache l’essentiel : ce qu’il compte, ce qu’il ignore, et sur quelle population il a été calculé.Cet article expose ces mesures. Il prolonge l’article consacré au
coût de l’annotation.
Ce que le recouvrement mesure
Cinq propriétés caractérisent l’indicateur le plus employé en bounding box.Il compare la surface commune à la surface totale couverte par deux boîtes.Il vaut un pour deux boîtes identiques et zéro pour deux boîtes disjointes.Il chute très vite dès lors que les boîtes deviennent petites.Il ne dit rien du tout d’un objet qu’aucune boîte n’entoure.Et il traite de la même façon un décalage et une différence de taille.Une conséquence pratique importante en découle. La quatrième propriété limite sévèrement sa portée, cet indicateur ne se calculant qu’entre boîtes existantes, ce qui le rend aveugle à l’omission, défaut le plus fréquent des corpus.
Ce que le seuil retenu change
Quatre effets suivent le choix d’un seuil de recouvrement en bounding box.Un seuil bas rend presque n’importe quelle boîte acceptable.Un seuil élevé transforme des écarts pourtant mineurs en échecs.Le même seuil se révèle bien plus sévère sur les petits objets.Et deux corpus évalués sous des seuils différents ne se comparent pas.Une observation importante en découle pour un projet de bounding box. Le troisième effet fausse toute lecture globale, un seuil identique appliqué à toutes les tailles pénalisant mécaniquement les petits objets, ce qui produit un chiffre qui décrit la distribution des tailles autant que la qualité du travail.
Ce que le chiffre global masque
Cinq ventilations révèlent ce qu’un taux unique dissimule toujours.Par taille d’objet, en allant du plus petit au plus grand.Par classe, en isolant tout particulièrement les classes rares.Par degré d’occultation des objets.Par densité observée de la scène.Et par opérateur, pour distinguer biais et dispersion.Une conséquence pratique s’ensuit. Ces cinq ventilations coûtent quelques minutes de calcul et changent la conclusion, un taux global excellent pouvant recouvrir un échec complet sur une population entière, ce qui rend un rapport sans ventilation peu informatif.
Ce que les deux erreurs opposées coûtent
Quatre différences séparent l’objet manqué de la boîte en trop.L’objet manqué reste parfaitement invisible dans le livrable.La boîte en trop se repère au contraire d’un simple coup d’oeil.L’objet manqué enseigne au système à ignorer ce qu’il devrait voir.Et la boîte en trop lui enseigne à voir ce qui n’existe pas.Une conséquence pratique importante en découle pour un projet de bounding box. Ces deux erreurs ne pèsent pas également selon l’usage, une détection d’alerte souffrant surtout de l’objet manqué alors qu’un comptage souffre autant des deux, ce qui rend le poids relatif de ces deux taux dépendant du besoin plutôt que d’une règle générale.
Ce que l’audit doit établir
Cinq questions structurent l’audit d’un corpus de bounding box.Le taux d’objets bien présents et pourtant non annotés.Le taux de boîtes tracées sans aucun objet correspondant.La justesse des classes effectivement attribuées.Le recouvrement moyen constaté entre deux annotations.Et la cohérence du traitement réservé aux cas limites.Une observation en découle. La première question est la plus coûteuse à mesurer et la plus utile, l’omission n’apparaissant que si quelqu’un annote à nouveau les mêmes images, ce qui explique qu’elle soit si souvent absente des rapports.
Ce que la double annotation apporte
Quatre informations découlent d’un même lot annoté deux fois séparément.Le taux d’objets vus par un seul des deux opérateurs mobilisés.Le recouvrement moyen mesuré sur les objets vus par les deux.Le biais propre à chacun des opérateurs.Et la liste complète des cas où la consigne a été lue différemment.Une conséquence pratique importante en découle pour un projet de bounding box. La dernière information vaut souvent plus que les trois autres, chaque divergence désignant un point du référentiel à réécrire, ce qui transforme une mesure de contrôle en outil de cadrage.
Aborder une mesure de qualité
Cinq questions cadrent la mesure sur un projet de bounding box.L’omission est-elle mesurée. Sinon le rapport est incomplet.Le taux est-il ventilé. Sinon il masque les échecs.Quel seuil s’applique. Il décide de la sévérité.Sur quelle fraction du corpus. La couverture compte.Et les divergences sont-elles exploitées. Elles corrigent le référentiel.Ces cinq réponses déterminent la valeur d’un rapport. Les poser avant de le lire évite de conclure sur un chiffre qui ne décrit pas ce qu’on croit.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.Un indicateur ne mesure jamais que ce qu’il sait voir.Trois constats la composent.Le recouvrement ne se calcule qu’entre boîtes existantes et ignore l’omission.Un seuil identique pénalise mécaniquement les petits objets.Et un taux global excellent peut recouvrir un échec complet sur une population.Ce constat prolonge les chapitres précédents, l’invisible portant ici sur ce que la mesure elle-même laisse hors champ.
Les erreurs les plus fréquentes
- Juger un corpus sur un taux global sans ventilation.
- Mesurer le recouvrement sans mesurer l’omission.
- Appliquer le même seuil à toutes les tailles d’objets.
- Comparer deux corpus évalués sous des seuils différents.
- Confondre une divergence de convention et une erreur de tracé.
- Négliger les classes rares dans le calcul.
- Auditer une fraction non représentative du corpus.
- Ignorer les divergences plutôt que de les exploiter.
- Conclure sur un chiffre sans connaître sa population de calcul.
- Mesurer la qualité sans mesurer l’accord entre opérateurs.
Ce que l’échantillon d’audit exige
Cinq propriétés rendent un audit défendable.Un tirage véritablement aléatoire plutôt qu’une sélection par le producteur.Une couverture de toutes les classes, y compris les plus rares.Une représentation des scènes difficiles proportionnelle au corpus.Une taille suffisante pour que les taux signifient quelque chose.Et une annotation de référence produite de façon indépendante.Une observation importante en découle pour un projet de bounding box. La première propriété conditionne toutes les autres, un échantillon proposé par celui qu’on évalue portant nécessairement les images qu’il maîtrise le mieux, ce qui suffit à vider l’audit de sa valeur sans que personne ait triché.
Ce que le rapport doit contenir
Cinq éléments composent un rapport de qualité exploitable.La fraction du corpus qui a été effectivement contrôlée.Le mode de tirage retenu pour cet échantillon.Les taux ventilés par taille ainsi que par classe.Le taux d’omission mesuré de façon séparée.Et la liste des divergences de convention effectivement relevées.Une conséquence pratique importante en découle pour un projet de bounding box. Le deuxième élément manque presque toujours et conditionne la lecture des autres, un taux calculé sur un échantillon choisi n’ayant pas la même portée qu’un taux calculé sur un tirage aléatoire, ce qui rend cette mention plus importante que la valeur elle-même.
Trois décisions avant de mesurer
Trois décisions engagent la mesure sur un projet de bounding box.Mesurer l’omission séparément plutôt que de s’en remettre au seul recouvrement.Ventiler les taux par taille et par classe dès le premier rapport.Et tirer l’échantillon d’audit entièrement au hasard plutôt que de le choisir.Ces trois décisions coûtent quelques heures, elles précèdent le premier contrôle, et leur absence produit des rapports rassurants qui ne décrivent rien.
La question qui cadre la mesure
Une question détermine l’indicateur utile en bounding box.L’usage souffre-t-il davantage d’un objet manqué ou d’une boîte en trop.L’objet manqué, une alerte non déclenchée ou un inventaire incomplet, impose de mesurer l’omission avant toute autre chose et de payer le prix d’une double annotation.La boîte en trop, une alarme intempestive ou un comptage gonflé, se repère à la relecture et coûte nettement moins cher à contrôler.Cette question relève des conséquences du défaut et non de sa fréquence, elle se pose avant le premier contrôle, et elle décide de la part du budget consacrée à la mesure.
Trois vérifications sur un rapport de qualité
Trois contrôles qualifient un rapport de bounding box.La présence d’un taux d’omission mesuré de façon séparée.La ventilation des taux par taille ainsi que par classe.Et l’indication du mode de tirage retenu pour l’échantillon.Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence technique, et leur absence indique un rapport dont le chiffre principal ne décrit pas ce qu’on croit.
Ce que le prestataire apporte ici
Quatre apports distinguent un contrôle de bounding box sérieux.Un taux d’omission mesuré puis publié plutôt que passé sous silence.Des taux ventilés par taille, par classe ainsi que par opérateur.Un échantillon tiré au hasard et non proposé par le producteur.Et une exploitation des divergences pour corriger le référentiel.Une conséquence pratique importante en découle. Le premier apport dessert le prestataire en apparence, un taux d’omission publié faisant nécessairement moins bonne figure qu’un recouvrement moyen élevé, alors qu’il désigne la seule mesure que le client ne peut obtenir autrement et fonde une confiance qu’aucun taux flatteur ne construit.
Ce que la fréquence du contrôle change
Quatre effets suivent le rythme auquel la mesure est conduite.Un contrôle mené en fin de projet ne permet plus aucune correction utile.Un contrôle mené sur le premier lot oriente encore le référentiel.Un contrôle régulier détecte les dérives avant qu’elles ne s’installent.Et un contrôle rendu permanent devient une charge disproportionnée.Une observation importante en découle pour un projet de bounding box. Le deuxième effet vaut plusieurs fois le troisième, une mesure conduite sur les premières images corrigeant une convention avant qu’elle ne soit appliquée à tout le corpus, ce qui rend le calendrier du contrôle aussi déterminant que sa couverture.
Ce que ce chapitre laisse au suivant
Mesurer un défaut ne dit pas encore ce qu’il produit en aval.Trois questions restent ouvertes en bounding box.Quelles erreurs dégradent réellement un détecteur.Lesquelles se rattrapent et lesquelles se propagent.Et comment hiérarchiser les corrections avec un budget fini.Ces trois questions relèvent des effets des erreurs, qui constituent l’objet du chapitre suivant.
Trois erreurs propres à la mesure
Trois défauts de bounding box tiennent au dispositif de contrôle.Un recouvrement mesuré sans qu’aucune omission ne soit comptée.Un taux global publié sans la moindre ventilation.Et un échantillon d’audit proposé par celui qu’on évalue.Ces trois défauts produisent des rapports parfaitement présentables, ils se révèlent au moment où le corpus sert, et leur point commun est de porter sur la façon de compter plutôt que sur le travail compté.
Ce que le client doit préciser ici
Quatre informations viennent du client plutôt que du prestataire.Le type d’erreur qui lui coûte le plus dans son usage.Le seuil de recouvrement attendu par sa chaîne d’évaluation.Les classes dont la justesse importe davantage que les autres.Et le niveau de couverture du contrôle qu’il souhaite financer.Une conséquence pratique importante en découle pour un projet de bounding box. La première information réoriente tout le dispositif, un client indifférent aux boîtes en trop et sensible aux objets manqués justifiant une double annotation coûteuse plutôt qu’une relecture rapide, ce qui rend cette réponse plus structurante que le budget annoncé.
Ce que l’annotateur doit savoir ici
Quatre connaissances aident l’opérateur à travailler avec la mesure.Le sens exact des indicateurs qui seront calculés sur son travail.Le seuil de recouvrement en deçà duquel une boîte est reprise.La différence entre une divergence de convention et une erreur.Et l’intérêt de signaler un cas plutôt que d’attendre le contrôle.Une observation importante en découle pour un projet de bounding box. La troisième connaissance change le rapport au contrôle, un opérateur comprenant qu’une divergence désigne une consigne floue plutôt qu’une faute personnelle acceptant nettement mieux la relecture, ce qui rend la mesure utile au lieu de la rendre menaçante.
Ce que ce chapitre partage avec les précédents
Trois constats reviennent depuis le début du parcours.Un chiffre global masque toujours un échec sur une population.Le défaut dominant reste absent du livrable lui-même.Et une divergence entre opérateurs désigne le référentiel plutôt qu’une faute.Une conséquence pratique importante en découle pour un projet de bounding box. Le troisième constat trouve ici son emploi le plus direct, chaque divergence relevée pendant la mesure fournissant une correction gratuite du référentiel, ce qui fait du contrôle un dispositif de cadrage autant qu’un dispositif de vérification.
Ce que ce sujet a de particulier
Quatre traits distinguent la mesure des autres chapitres du parcours.Elle produit le chiffre sur lequel tout le monde décidera.Elle se conduit après le travail et non pendant.Elle peut être bien menée et rester muette sur l’essentiel.Et elle inspire une confiance que sa portée ne justifie pas toujours.Une observation importante en découle pour un projet de bounding box. Le dernier trait explique la place de ce chapitre, un chiffre publié acquérant une autorité que son mode de calcul ne mérite pas nécessairement, ce qui rend la lecture critique d’un rapport aussi importante que sa production.
Ce que la mesure coûte réellement
Quatre postes composent la dépense de contrôle.La double annotation d’une fraction du corpus.Le temps de calcul et de lecture des indicateurs.La relecture des cas signalés par la mesure.Et la reprise des annotations effectivement écartées.Une conséquence pratique importante en découle pour un projet de bounding box. Le premier poste explique presque tout l’écart entre deux dispositifs, mesurer l’omission supposant d’annoter deux fois les mêmes images alors que tous les autres indicateurs se calculent sur le livrable existant, ce qui fait de cette seule décision le principal choix budgétaire du contrôle.
Ce que la mesure ne saura jamais dire
Quatre questions échappent à tout indicateur.Si la convention retenue était la bonne pour l’usage prévu.Si le corpus couvre les situations que le système rencontrera.Si les classes du référentiel correspondent au besoin réel.Et si le seuil de taille n’a pas écarté ce qui comptait.Une observation importante en découle pour un projet de bounding box. Ces quatre questions relèvent du cadrage et non de l’exécution, un corpus parfaitement conforme à une convention inadaptée obtenant des taux excellents et restant inutilisable, ce qui montre qu’aucune mesure ne rattrape une décision prise avant la première image.
Trois questions à poser devant un taux annoncé
Trois questions précèdent toute conclusion sur un chiffre de qualité.Sur quelle population ce taux a-t-il été calculé.L’omission a-t-elle été comptée ou seulement le recouvrement.Et qui a choisi les images de l’échantillon.Ces trois questions se posent en une minute, elles ne demandent aucune compétence technique, et leur absence conduit à décider sur un chiffre dont personne ne connaît la portée.
Ce que la mesure d’accord révèle sur l’équipe
Quatre lectures découlent d’un taux d’accord suivi dans le temps.Un accord faible dès le départ signale un référentiel incomplet.Un accord qui progresse signale une formation qui produit ses effets.Un accord qui se dégrade signale une dérive ou un lot différent.Et un accord élevé mais un taux d’omission fort signale un problème de méthode.Une conséquence pratique importante en découle pour un projet de bounding box. La dernière lecture est la plus utile et la moins évidente, deux opérateurs pouvant s’accorder parfaitement sur les objets qu’ils voient tout en manquant les mêmes objets, ce qui montre qu’un accord élevé ne garantit jamais l’exhaustivité.
Ce que la comparaison entre corpus suppose
Cinq conditions rendent deux corpus de bounding box comparables.Une même convention de tracé et de serrage.Un même seuil de taille appliqué aux deux.Une même règle pour les objets masqués.Un même seuil de recouvrement lors de l’évaluation.Et un même mode de tirage des échantillons de contrôle.Une observation importante en découle pour un projet de bounding box. Ces cinq conditions sont rarement réunies et jamais vérifiées, deux corpus produits par des équipes différentes affichant des taux d’apparence comparable sans que rien n’autorise à les rapprocher, ce qui rend la comparaison entre prestataires bien plus fragile qu’elle n’en a l’air.
Ce que le contrat doit prévoir ici
Quatre clauses méritent d’être écrites avant le démarrage.Les indicateurs retenus ainsi que leur mode de calcul.Le seuil d’acceptation lot par lot.La fraction du corpus soumise au contrôle.Et la partie qui tire l’échantillon d’audit.Une conséquence pratique importante en découle pour un projet de bounding box. La dernière clause évite le désaccord le plus embarrassant, un litige survenant après coup sur la représentativité de l’échantillon ne se tranchant par aucune règle si rien n’a été écrit, ce qui laisse chacun soupçonner l’autre sans qu’aucun ait mal agi.
Ce que ce chapitre suppose du prestataire
Quatre pratiques distinguent un contrôle honnête d’un contrôle décoratif.Publier le taux le moins flatteur plutôt que le plus présentable.Accepter que le client tire lui-même l’échantillon d’audit.Ventiler les taux même lorsque la ventilation dessert le résultat.Et signaler une dérive avant qu’elle ne soit constatée par le client.Une observation importante en découle. Ces quatre pratiques coûtent peu et se remarquent, un prestataire annonçant lui-même un problème obtenant une latitude qu’un prestataire pris en défaut n’obtiendra jamais.
Ce qu’il faut retenir
Un chiffre de qualité ne vaut que par ce qu’il compte et ce qu’il ignore.Trois lectures se dégagent. Le recouvrement ne se calcule qu’entre boîtes existantes, ce qui le rend aveugle à l’omission et impose de mesurer séparément les objets manquants. Un seuil identique appliqué à toutes les tailles pénalise mécaniquement les petits objets, ce qui produit un chiffre décrivant la distribution des tailles autant que la qualité du travail. Et un taux global excellent peut recouvrir un échec complet sur une population entière, ce qui rend la ventilation plus informative que le taux lui-même.Pour les défauts et leurs effets, l’article consacré aux
erreurs qui dégradent un détecteur détaille la démarche. Pour la rédaction du référentiel, l’article sur les
consignes d’annotation l’expose.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous préparez un projet de détection,
échangeons sur votre besoin.
