Faire proposer les boîtes par un modèle avant de les faire vérifier par un opérateur paraît un gain évident. Le gain existe, il porte rarement là où on l’attend, et il s’accompagne d’un défaut que la mesure habituelle ne voit pas.Cet article expose cette pratique. Il prolonge l’article consacré à la
rédaction des consignes.
Ce que la pré-annotation fait gagner
Cinq bénéfices accompagnent une proposition automatique en bounding box.Le tracé disparaît entièrement sur les objets bien contrastés et isolés.La cadence augmente très fortement sur les images les plus faciles.Le serrage devient parfaitement homogène sur tout le corpus.Le décompte proposé fournit d’emblée un point de comparaison.Et l’opérateur consacre son temps aux seuls cas qui le méritent.Une conséquence pratique importante en découle. Ces cinq bénéfices portent tous sur la part facile du travail, celle qui coûtait déjà le moins, ce qui rend le gain réel plus faible que le pourcentage d’objets automatiquement proposés ne le suggère.
Ce que la pré-annotation fait perdre
Cinq effets défavorables accompagnent la pré-annotation en bounding box.L’opérateur vérifie ce qui existe au lieu d’aller chercher ce qui manque.Les objets que l’outil ignore demeurent presque toujours ignorés.La convention de l’outil s’impose silencieusement au corpus.Une boîte vraisemblable se trouve validée sans jamais être ajustée.Et l’homogénéité obtenue ressemble beaucoup à de la qualité.Une observation importante en découle pour un projet de bounding box. Le premier effet est le plus grave, une revue de propositions transformant une tâche de recherche en tâche de validation, ce qui concentre les omissions sur les objets difficiles que le corpus devait précisément apprendre.
Ce que la convention de l’outil impose
Quatre écarts séparent une proposition d’un tracé réellement conforme.Un serrage suivant la définition propre au modèle et non celle du projet.Un traitement des objets masqués qui n’appartient qu’à lui.Un seuil de taille implicite hérité de son propre entraînement.Et une gestion des objets accolés qui lui appartient en propre.Une conséquence pratique s’ensuit. Ces quatre écarts sont systématiques par nature, un outil se trompant toujours de la même façon là où un opérateur varie, ce qui les place d’emblée dans la catégorie de défauts la plus coûteuse.
Ce que le choix de l’outil engage
Cinq caractéristiques déterminent l’utilité d’un modèle de proposition.Le domaine précis sur lequel il a été entraîné.Les classes qu’il sait proposer ainsi que celles qu’il ignore.Son comportement face aux objets petits ou bien masqués.La possibilité de régler librement son seuil de confiance.Et la convention de tracé qu’il applique par défaut.Une conséquence pratique importante en découle pour un projet de bounding box. La quatrième caractéristique offre un levier souvent inutilisé, un seuil abaissé produisant davantage de propositions à écarter et moins d’objets manqués, ce qui permet de choisir quel type d’erreur l’outil commettra plutôt que de subir son réglage par défaut.
Ce que le contrôle doit devenir ici
Cinq dispositifs de bounding box s’adaptent à un travail de vérification.Une fraction du corpus annotée sans la moindre proposition.Une comparaison du serrage obtenu entre les deux modes.Un décompte comparé entre la proposition et le résultat final.Une attention particulière portée aux objets que l’outil ne propose jamais.Et un suivi régulier du taux d’ajustement des boîtes proposées.Une observation en découle. Le premier dispositif est le seul qui révèle le biais, une annotation libre sur quelques images montrant l’écart entre la convention de l’outil et celle du projet, ce qui transforme un défaut invisible en écart mesuré.
Ce que le taux d’ajustement révèle
Quatre lectures découlent de la proportion de boîtes effectivement modifiées.Un taux très bas signale une validation bien trop rapide.Un taux très élevé signale un outil visiblement mal adapté au corpus.Un taux stable dans la durée signale un travail parfaitement régulier.Et un taux qui baisse en fin de session signale la fatigue.Une conséquence pratique importante en découle pour un projet de bounding box. La première lecture surprend et mérite attention, un opérateur qui ne corrige presque rien produisant un travail dont la qualité tient entièrement à l’outil, ce qui rend un taux d’ajustement anormalement bas plus inquiétant qu’un taux élevé.
Aborder un projet avec pré-annotation
Cinq questions cadrent un tel projet de bounding box.La convention de l’outil est-elle connue. Elle s’imposera.L’omission est-elle contrôlée. Elle s’aggrave ici.Une fraction est-elle annotée librement. C’est le seul repère.Le taux d’ajustement est-il suivi. Il révèle la vigilance.Et le gain est-il mesuré en heures. Pas en objets proposés.Ces cinq réponses déterminent la valeur de la pré-annotation. Les poser avant la production évite un gain apparent payé d’un biais durable.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.Une aide automatique renforce ce que le corpus savait déjà faire.Trois constats la composent.Les bénéfices portent tous sur la part du travail qui coûtait le moins.Une revue de propositions transforme une recherche en validation.Et un outil se trompe toujours de la même façon là où un opérateur varie.Ce constat prolonge les chapitres précédents, l’automatisation déplaçant le défaut plutôt qu’elle ne le supprime.
Les erreurs les plus fréquentes
- Mesurer le gain en objets proposés plutôt qu’en heures économisées.
- Négliger le contrôle de l’omission sur un travail de vérification.
- Ignorer la convention propre à l’outil employé.
- Se rassurer d’une homogénéité produite par la machine.
- Omettre d’annoter une fraction du corpus sans proposition.
- Interpréter un faible taux d’ajustement comme un signe de qualité.
- Alléger le contrôle parce que les propositions paraissent bonnes.
- Employer un outil entraîné sur un domaine différent.
- Laisser l’opérateur valider sans consigne de vérification.
- Supposer que le gain de volume se traduit en gain de budget.
Ce que la consigne de vérification doit dire
Cinq points distinguent une consigne de vérification d’une consigne de tracé.L’obligation de parcourir l’image entière en dépit des propositions.Les écarts de serrage qui justifient réellement un ajustement.Les classes sur lesquelles l’outil se trompe le plus habituellement.La conduite à tenir devant une proposition manifestement douteuse.Et le rappel que l’absence de boîte ne vaut pas absence d’objet.Une observation importante en découle pour un projet de bounding box. Le dernier point mérite d’être écrit noir sur blanc, une zone sans proposition étant spontanément lue comme une zone sans objet, ce qui rend cette phrase plus utile que toutes les autres réunies sur ce type de travail.
Ce que le gain réel suppose de mesurer
Quatre comparaisons établissent l’apport véritable d’une pré-annotation.Le temps passé par image, avec puis sans aucune proposition.Le taux d’omission constaté dans les deux modes de travail.Le serrage effectivement obtenu de part et d’autre.Et le coût total rapporté au seul nombre d’objets corrects.Une conséquence pratique importante en découle pour un projet de bounding box. La deuxième comparaison manque presque toujours et renverse parfois la conclusion, un gain de temps réel s’accompagnant d’une hausse d’omission qui annule la valeur du corpus produit, ce qui rend le seul chronomètre insuffisant pour juger de l’intérêt de la méthode.
Trois décisions avant d’employer une proposition
Trois décisions engagent une pré-annotation en bounding box.Annoter une fraction du corpus sans aucune proposition, en guise de repère.Écrire une consigne de vérification bien distincte de la consigne de tracé.Et mesurer le gain en heures réelles plutôt qu’en objets proposés.Ces trois décisions coûtent une journée, elles précèdent la production, et leur absence produit un gain apparent payé d’un biais que rien ne signalera.
La question qui cadre l’emploi d’une proposition
Une question détermine l’intérêt de la pré-annotation en bounding box.Le corpus doit-il enseigner ce que l’outil sait déjà ou ce qu’il ignore.Ce qu’il sait déjà, des objets courants dans des scènes ordinaires, se produit vite et bien avec une proposition automatique.Ce qu’il ignore, des cas difficiles ou un domaine nouveau, se produit mal avec une proposition puisque l’outil manque précisément ces objets.Cette question relève de la raison d’être du corpus, elle se pose avant de choisir la méthode, et elle explique pourquoi la pré-annotation sert le moins là où le besoin est le plus fort.
Trois vérifications sur un corpus pré-annoté
Trois contrôles qualifient un travail de bounding box assisté.L’existence d’une fraction du corpus annotée sans aucune proposition.Le taux d’ajustement mesuré sur les boîtes proposées.Et la comparaison du taux d’omission relevé entre les deux modes.Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence technique, et leur absence indique un corpus qui porte la convention d’un outil que personne n’a examinée.
Ce que le prestataire apporte ici
Quatre apports distinguent une pré-annotation de bounding box bien menée.Une fraction du corpus annotée librement afin de servir de repère.Une consigne de vérification écrite et bien distincte du reste.Un suivi du taux d’ajustement conduit par opérateur.Et un gain annoncé en heures réelles plutôt qu’en objets proposés.Une conséquence pratique importante en découle. Le dernier apport réduit l’effet d’annonce et protège la relation, un prestataire promettant une division du coût par trois sur la foi du taux de propositions se plaçant lui-même dans une position intenable, ce qui rend une annonce prudente plus solide qu’un argument spectaculaire.
Ce que la boucle d’amélioration suppose
Quatre conditions rendent utile un modèle réentraîné en cours de projet.Un premier lot annoté sans aucune proposition, servant de base.Un réentraînement mené sur les données corrigées plutôt que proposées.Une évaluation menée avant puis après sur le même échantillon.Et une vérification que les cas les plus difficiles progressent également.Une observation importante en découle pour un projet de bounding box. La dernière condition évite une illusion de progrès, un modèle réentraîné sur ses propres propositions validées confirmant ses biais au lieu de les corriger, ce qui produit une amélioration mesurée sur les cas faciles et nulle là où le besoin se situait.
Ce que ce chapitre laisse au suivant
Le rectangle atteint ici la limite de ce qu’une image plate permet.Trois questions restent ouvertes en bounding box.Ce qu’une boîte perd dès que la profondeur compte.Ce qu’un cuboïde ajoute comme travail et comme convention.Et pourquoi la troisième dimension change la nature du contrôle.Ces trois questions relèvent du passage au cuboïde, qui constitue l’objet du chapitre suivant.
Trois erreurs propres à cette méthode
Trois défauts de bounding box tiennent à l’emploi d’une proposition.Un gain annoncé en volume et pourtant jamais vérifié en heures.Un contrôle allégé au seul motif que les propositions paraissent bonnes.Et une convention d’outil adoptée sans avoir jamais été examinée.Ces trois défauts produisent un corpus d’apparence très homogène, ils se révèlent lorsque le système échoue sur les cas difficiles, et leur point commun est de confondre régularité et justesse.
Ce que l’opérateur doit savoir ici
Cinq connaissances distinguent une vérification d’une simple validation.L’obligation de parcourir l’image comme s’il n’y avait aucune proposition.Les classes sur lesquelles l’outil se trompe le plus souvent.L’écart de serrage qui justifie de reprendre une boîte.Le réflexe de se méfier d’une image bien trop vite terminée.Et la conscience que valider n’engage pas moins que tracer.Une conséquence pratique importante en découle pour un projet de bounding box. La dernière connaissance change le rapport au travail, un opérateur qui se sent responsable des propositions qu’il accepte les examinant tout autrement qu’un opérateur chargé de les entériner, ce qui relève de la façon de présenter la tâche autant que de la consigne elle-même.
Ce que le client doit savoir ici
Quatre informations méritent d’être données plutôt que tues.Le fait même qu’une pré-annotation a été employée.Le modèle utilisé ainsi que le domaine sur lequel il a été entraîné.La fraction exacte du corpus annotée sans aucune proposition.Et l’écart effectivement mesuré entre les deux modes de travail.Une observation importante en découle pour un projet de bounding box. La première information se tait parfois et fragilise la relation, un client découvrant après coup qu’un outil a produit une part du corpus s’interrogeant alors sur tout le reste, ce qui coûte davantage que la conversation qu’on avait voulu éviter.
Ce que ce chapitre partage avec les précédents
Trois constats reviennent depuis le début du parcours.Une aide automatique renforce ce que le corpus savait déjà faire.L’homogénéité d’un livrable ne garantit jamais sa justesse.Et le défaut le plus coûteux reste celui qui ne se voit pas.Une conséquence pratique importante en découle pour un projet de bounding box. Ces trois constats se rejoignent ici en un seul phénomène, la pré-annotation produisant simultanément un corpus plus régulier, plus rassurant et plus lacunaire, ce qui en fait le cas où la vigilance doit être la plus forte au moment précis où tout paraît le mieux se passer.
Ce que cette méthode change à l’économie du projet
Quatre effets modifient la structure du coût.Le temps de production baisse sur la seule part facile du travail.Le coût du contrôle augmente au lieu de diminuer.La mise en place de l’outil s’ajoute aux frais de démarrage.Et le coût unitaire des objets restants augmente sensiblement.Une observation importante en découle pour un projet de bounding box. Le deuxième effet contredit l’intuition et se néglige au chiffrage, un travail de vérification demandant un contrôle plus attentif qu’un travail de tracé, ce qui conduit certains projets à constater un gain de production entièrement absorbé par la hausse du contrôle.
Ce que ce sujet a de particulier
Quatre traits distinguent cette question des autres du parcours.Le gain se constate immédiatement et le défaut plus tard.Le livrable devient plus régulier tout en devenant plus lacunaire.La mesure habituelle enregistre l’amélioration sans voir la perte.Et l’argument commercial précède presque toujours la vérification.Une conséquence pratique importante en découle pour un projet de bounding box. Le dernier trait explique la place de ce chapitre, la pré-annotation étant vendue avant d’être mesurée dans la plupart des projets, ce qui laisse au prestataire le soin de tempérer une promesse que le marché formule à sa place.
Ce que l’organisation du travail peut corriger
Cinq dispositions limitent les défauts propres à la vérification.Alterner les images avec et sans proposition tout au long de la session.Masquer les propositions sur une fraction des images tirée au hasard.Limiter strictement la durée des sessions de vérification pure.Faire varier les opérateurs affectés aux mêmes lots.Et rappeler périodiquement la consigne de parcours exhaustif.Une observation importante en découle pour un projet de bounding box. La deuxième disposition agit le plus efficacement, un opérateur ignorant si l’image qu’il traite comporte des propositions conservant l’habitude de chercher, ce qui préserve le geste que la pré-annotation tend à faire disparaître.
Ce que le seuil de confiance décide
Quatre effets accompagnent le réglage de ce paramètre.Un seuil élevé ne propose plus que les objets les plus évidents.Un seuil bas propose bien davantage et multiplie les fausses boîtes.Le premier réglage augmente le risque d’omission par l’opérateur.Et le second augmente le temps passé à écarter des propositions.Une conséquence pratique importante en découle pour un projet de bounding box. Ces quatre effets rendent le réglage dépendant du défaut que le projet redoute, un seuil bas convenant lorsque l’omission coûte cher et un seuil élevé lorsque la cadence prime, ce qui fait de ce paramètre une décision de cadrage plutôt qu’un réglage technique.
Trois questions à poser avant d’accepter cette méthode
Trois questions précèdent l’adoption d’une pré-annotation.Sur quel domaine précis le modèle proposé a-t-il été entraîné.Quelle fraction du corpus sera annotée sans la moindre proposition.Et le gain annoncé porte-t-il sur des heures réelles ou sur des objets.Ces trois questions se posent avant le démarrage, elles ne demandent aucune compétence technique, et leur absence conduit à accepter une méthode dont personne ne mesurera l’effet réel.
Ce que cette méthode suppose du prestataire
Quatre pratiques distinguent un emploi honnête d’un emploi opportuniste.Annoncer l’usage d’un outil plutôt que de le laisser deviner.Mesurer l’omission plutôt que de se contenter de la cadence.Refuser la méthode lorsque le corpus vise ce que l’outil ignore.Et répercuter le gain réel sur le prix plutôt que de le conserver.Une conséquence pratique importante en découle. La troisième pratique coûte une affaire de temps en temps, un prestataire expliquant que la pré-annotation desservirait ce projet précis paraissant renoncer à un avantage, alors qu’il évite un corpus qui échouera exactement là où le client l’attendait.
Ce que la pré-annotation ne remplace pas
Quatre travaux subsistent intacts quelle que soit la qualité de l’outil.La rédaction du référentiel ainsi que l’arbitrage des cas limites.La mesure de l’omission conduite par double annotation.La couverture délibérée des situations les plus difficiles.Et la documentation finalement remise avec le corpus.Une observation importante en découle pour un projet de bounding box. Ces quatre travaux constituaient déjà la part la plus coûteuse d’un projet, ce qui explique qu’une méthode réduisant fortement le temps de tracé n’allège que modérément le budget total.
Ce qu’il faut retenir
La pré-annotation accélère le travail facile et aggrave le défaut principal.Trois lectures se dégagent. Les bénéfices portent tous sur la part du travail qui coûtait déjà le moins, ce qui rend le gain réel plus faible que le pourcentage d’objets proposés ne le suggère. Une revue de propositions transforme une tâche de recherche en tâche de validation, ce qui concentre les omissions sur les objets difficiles que le corpus devait précisément apprendre. Et un outil se trompe toujours de la même façon là où un opérateur varie, ce qui place ses défauts d’emblée dans la catégorie la plus coûteuse.Pour la troisième dimension, l’article consacré au
passage au cuboïde détaille la démarche. Pour la mesure de qualité, l’article sur l’
IoU et les audits l’expose.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous préparez un projet de détection,
échangeons sur votre besoin.
