Rectangle, contour polygonal ou masque au pixel : le choix de la géométrie est la première décision technique d’un projet d’annotation d’images, et l’une des plus lourdes de conséquences. Elle engage le budget, le calendrier, l’architecture du modèle et le niveau de performance atteignable. Elle est pourtant souvent tranchée par habitude ou par défaut d’outillage, avant même que la question ait été posée sérieusement. Chaque campagne d’annotation d’images devrait au contraire commencer par cet arbitrage explicite, documenté dans les consignes et validé par l’équipe qui entraînera le modèle.
Les écarts en jeu ne sont pas marginaux. Selon les analyses publiées par les acteurs du secteur, un polygone précis demande trois à dix fois plus de temps qu’une bounding box, et les auteurs du dataset COCO ont documenté environ 60 000 heures de travail pour son annotation, avec un temps moyen proche de 80 secondes par masque polygonal. À l’échelle d’un corpus de plusieurs centaines de milliers d’images, choisir une géométrie trop riche pour le besoin réel peut multiplier le budget par quatre ; choisir une géométrie trop pauvre condamne le modèle à un plafond de performance qu’aucun réentraînement ne lèvera. Ce guide compare les formats un par un, puis propose une méthode de décision en cinq questions.
Le type d’annotation d’images : une décision d’architecture, pas un détail d’exécution
La géométrie d’annotation détermine ce que le modèle pourra apprendre. Un détecteur entraîné sur des bounding boxes prédit des rectangles : il localisera les objets mais ne connaîtra jamais leur forme. Un modèle de segmentation exige des masques au pixel : impossible de l’entraîner sur des rectangles sans une perte majeure d’information. Le lien est mécanique : la sortie attendue du modèle dicte le format de la vérité terrain, et donc le type d’annotation d’images à produire.
La décision est aussi difficilement réversible. Passer d’un corpus annoté en bounding boxes à un corpus segmenté impose de réannoter, car on ne peut pas déduire une forme précise d’un rectangle. L’inverse est possible (une bounding box se dérive automatiquement d’un masque), ce qui crée une asymétrie utile à connaître : en cas de doute entre deux niveaux de précision, et si le budget le permet, le niveau supérieur préserve les options futures. Dans la plupart des cas néanmoins, la discipline consiste à choisir le niveau minimal qui satisfait le besoin, car chaque cran de précision supplémentaire se paie sur l’ensemble du corpus.
Un dernier facteur pèse sur la décision : la disponibilité des compétences. Une campagne d’annotation d’images en bounding boxes se lance avec des annotateurs rapidement formés ; une campagne de segmentation médicale ou de polygones fins exige des profils entraînés, calibrés sur des échantillons de référence, et un encadrement renforcé. Le format choisi dimensionne donc aussi l’équipe, sa formation et son rythme de montée en charge, des paramètres qui comptent autant que le prix unitaire lorsque le calendrier du projet est contraint.
La classification : l’annotation d’images sans localisation
La classification attribue une ou plusieurs étiquettes à l’image entière, sans désigner de zone. C’est le format le plus rapide à produire et le moins coûteux, et il suffit à un nombre de cas d’usage souvent sous-estimé : tri conforme/non conforme en sortie de ligne, catégorisation de produits, filtrage de corpus, détection de présence (l’image contient-elle un défaut, un animal, un document ?).
Ses limites sont évidentes : aucune information de position, de comptage ni de forme. Elle échoue aussi dès que l’image contient plusieurs objets de classes différentes dont la présence conjointe doit être distinguée. La classification reste toutefois un excellent format de première passe : classer un corpus avant de le localiser permet de router les images vers les bonnes files d’annotation et d’écarter les images inutiles avant d’y investir du temps de tracé.
La bounding box : la vitesse et l’échelle
Le rectangle englobant est le format de référence de la détection d’objets. Deux clics suffisent à le tracer, la formation des annotateurs est rapide, les outils sont universels et les formats d’export (COCO, YOLO, Pascal VOC) sont supportés par tous les frameworks. Quand le besoin est de localiser et compter des objets, la bounding box offre le meilleur rapport information/coût du marché.
Ses faiblesses sont le revers de sa simplicité. Sur un objet de forme irrégulière, le rectangle inclut une proportion importante de pixels d’arrière-plan : pour un objet en diagonale, allongé ou concave, la boîte peut contenir davantage de fond que d’objet. Sur des objets denses et chevauchants, les boîtes se recouvrent massivement et le signal d’apprentissage se brouille. Deux variantes répondent partiellement à ces limites : la bounding box orientée, qui pivote pour épouser l’axe de l’objet, précieuse en imagerie aérienne et en analyse de documents, et l’annotation amodale, qui englobe la partie occultée de l’objet pour apprendre au modèle à raisonner sur les occlusions.
La règle de tracé compte autant que le format : une boîte doit être ajustée au plus près de l’objet (tightness), de façon constante sur tout le corpus. Des boîtes tantôt serrées tantôt lâches produisent un détecteur imprécis, quelle que soit la qualité du reste du travail.
Le polygone : la fidélité à la forme
Le polygone trace le contour réel de l’objet par une suite de sommets. Il capture la forme, l’orientation et la surface, informations inaccessibles au rectangle, tout en restant moins coûteux qu’une segmentation dense exhaustive. C’est le format naturel des parcelles agricoles vues du ciel, des empreintes de bâtiments, des pièces industrielles complexes, des lésions en imagerie médicale légère.
Le coût varie fortement avec la complexité du contour : un polygone simple de cinq à dix sommets se trace presque aussi vite qu’une boîte par un annotateur expérimenté, tandis qu’un contour fin de trente à cinquante sommets prend plusieurs fois ce temps. C’est sur ces contours complexes que l’assistance par modèle (génération d’un contour initial corrigé par l’humain) apporte les gains les plus nets, les acteurs de l’outillage rapportant des réductions de temps de l’ordre de 40 à 70 % sur les classes d’objets courantes. La vigilance qualité porte alors sur les frontières : les modèles d’assistance arrondissent les angles, lissent les détails fins et échouent sur les occlusions, précisément là où la précision du polygone justifiait son surcoût.
La segmentation : le pixel comme unité d’annotation d’images
La segmentation attribue une classe à chaque pixel. C’est le niveau d’information maximal, et le seul format admissible quand la surface exacte, la frontière précise ou la topologie de l’objet portent la valeur métier.
La segmentation sémantique
Chaque pixel reçoit une classe, sans distinction entre les instances : tous les pixels « végétation » forment une seule région. Elle convient aux analyses de couverture et de proportion : occupation des sols en imagerie satellite, surfaces de matériaux, zones libres et occupées d’une scène.
La segmentation d’instances
Chaque objet est segmenté individuellement : deux plants de tomate voisins sont deux masques distincts. Elle permet de compter, de mesurer et de suivre chaque objet, et s’impose en imagerie médicale (chaque lésion compte), en agriculture fine (chaque plant, chaque fruit) et en détection de défauts (chaque défaut est un événement qualité distinct).
La segmentation panoptique
Elle unifie les deux précédentes : les objets dénombrables sont segmentés par instance, les régions de fond (ciel, route, sol) par classe. C’est le format des scènes complètes, notamment en conduite autonome, et le plus exigeant à produire et à contrôler.
Le coût de la segmentation reste le plus élevé de tous les formats, même avec l’assistance des modèles de fondation, car la vérification et la correction des frontières demeurent manuelles. La question à se poser est toujours la même : la valeur métier est-elle dans le pixel ? Si la réponse est oui (dosimétrie, planification chirurgicale, calcul de surfaces, rognage précis), la segmentation est un investissement. Si la réponse est non, c’est une dépense.
Points clés, polylignes, cuboïdes : les géométries spécialisées
Trois formats complètent la palette. Les points clés (keypoints) marquent des positions sans surface : articulations pour l’estimation de pose humaine ou animale, repères anatomiques, coins et centres d’objets. Ils sont rapides à poser mais exigent des définitions rigoureuses : chaque point doit correspondre à une position anatomique ou géométrique définie sans ambiguïté, faute de quoi les squelettes appris sont incohérents.
Les polylignes annotent les structures linéaires sans surface fermée : marquages routiers, rangs de culture, câbles, fissures, contours de fibres. Elles portent une information de trajectoire et de continuité que ni la boîte ni le masque ne représentent efficacement.
Le cuboïde projeté en 2D, enfin, approxime le volume d’un objet dans une image plane, en attendant ou en complément d’une véritable annotation 3D sur nuage de points. Il sert principalement à la perception pour véhicules et robots, où l’orientation et l’encombrement des objets comptent autant que leur position.
Temps et coûts : ce que la géométrie change concrètement
Les ordres de grandeur publiés convergent. La bounding box est l’unité de référence. Le polygone demande de trois à dix fois plus de temps selon la complexité du contour, et les travaux académiques sur les corpus de texte en scène ont mesuré des annotations polygonales environ quatre fois plus coûteuses que les boîtes équivalentes. La segmentation d’instances exhaustive se situe encore au-delà, comme l’illustre le précédent de COCO et ses dizaines de milliers d’heures de travail. Ces ratios se répercutent directement sur le budget, mais aussi sur le calendrier et sur l’effort de contrôle qualité, qui croît avec la précision exigée : vérifier une frontière au pixel prend plus de temps que vérifier un rectangle.
Deux effets de second ordre méritent d’être intégrés au calcul. D’abord, la géométrie riche réduit parfois le volume nécessaire : un modèle de segmentation apprend plus d’information par image, et certains projets atteignent leur cible avec moins d’images finement annotées qu’avec un grand volume de boîtes. Ensuite, le coût de la mauvaise décision domine tous les autres : réannoter un corpus dans une géométrie plus riche coûte l’intégralité du travail initial, plus le nouveau. Nous détaillons les mécanismes de tarification, les fourchettes et les leviers d’optimisation dans notre article combien coûte un projet d’annotation d’images.
L’assistance par modèles de fondation modifie ces ratios sans les annuler. Les gains rapportés par les éditeurs d’outils, de l’ordre de 40 à 70 % sur les polygones de classes courantes, se concentrent sur les objets génériques bien représentés dans les données publiques. Sur les classes métier, les frontières fines et les conditions d’image dégradées, la correction humaine reprend l’essentiel du temps, et l’écart de coût entre géométries persiste. La règle pratique : chiffrer une annotation d’images assistée sur un échantillon réel du corpus, jamais sur les promesses génériques de l’outil.
Partir du modèle : ce que l’architecture cible exige
Le raisonnement le plus sûr part de la fin. Quelle est la sortie attendue du système en production ? Une alerte de présence appelle une classification. Une localisation et un comptage appellent une détection, donc des bounding boxes. Une mesure de surface, une forme ou une frontière appellent une segmentation, donc des masques ou des polygones. Une posture ou une trajectoire appellent des keypoints ou des polylignes.
Les architectures suivent la même logique : les détecteurs standards consomment des boîtes ; les modèles de segmentation exigent des masques au pixel ; les estimateurs de pose exigent des squelettes de points. Vouloir entraîner une architecture de segmentation sur des rectangles, ou l’inverse, revient à financer une information que le modèle n’exploitera pas, ou à priver le modèle d’une information qu’il exige. Les métriques d’évaluation en découlent également : la précision moyenne sur boîtes pour la détection, l’IoU de masques et le coefficient de Dice pour la segmentation. Le format d’annotation, l’architecture et la métrique forment un triplet cohérent qui se choisit d’un bloc.
Cinq questions pour choisir le bon type d’annotation d’images
La méthode tient en cinq questions, à poser dans l’ordre.
Un : quelle décision le système doit-il permettre en production ? C’est la question maîtresse : présence, position, comptage, forme, surface ou trajectoire n’appellent pas la même géométrie. Deux : la forme des objets porte-t-elle une valeur métier ? Si la frontière exacte ne change rien à la décision finale, la précision de forme est un luxe. Trois : quel est le degré de chevauchement et d’irrégularité des objets ? Des objets denses, imbriqués ou concaves dégradent fortement l’information des rectangles et poussent vers le polygone ou l’instance. Quatre : quel budget et quel calendrier le projet supporte-t-il, ratios de coûts en tête ? Cinq : quelle évolution du besoin est prévisible à douze mois ? Si une segmentation est probable à terme, l’asymétrie de conversion (le masque se dégrade en boîte, jamais l’inverse) peut justifier d’annoter directement au niveau supérieur sur une partie du corpus.
Dans tous les cas, la décision se valide sur un pilote : quelques centaines d’images annotées dans la géométrie pressentie, un premier entraînement, une mesure. Le pilote coûte quelques jours et protège des deux erreurs symétriques, la sur-annotation qui brûle le budget et la sous-annotation qui plafonne le modèle.
Géométrie et contrôle qualité : des exigences qui changent avec le format
Chaque géométrie appelle son propre dispositif de contrôle, et ce point est régulièrement sous-estimé au moment du choix. En classification, le contrôle porte sur la justesse des classes et se prête bien aux mesures d’accord inter-annotateurs. En bounding box, il porte sur trois dimensions : la complétude (aucun objet omis), la justesse de classe et la précision géométrique mesurée par l’IoU, avec un seuil contractuel par type d’objet. En polygone et en segmentation, la vérification des frontières devient le poste dominant : un masque peut être juste à 98 % de ses pixels et faux là où cela compte, sur le bord fin qui sépare deux structures.
La conséquence budgétaire est directe : le coût du contrôle qualité croît avec la richesse de la géométrie, et ce surcoût doit entrer dans la comparaison initiale des formats. Un projet d’annotation d’images en segmentation médicale consacre au contrôle et à la validation une part du budget sans commune mesure avec un projet de détection en bounding boxes. Inversement, un contrôle sous-dimensionné sur une géométrie riche est le pire des arrangements : on paie la précision au tracé sans la garantir à la livraison. Le niveau d’exigence qualité, le format et le dispositif de contrôle se dimensionnent donc ensemble, dès le cadrage.
Quatre situations types, quatre choix d’annotation d’images
Quelques cas concrets illustrent la mécanique de décision.
Détection de défauts sur ligne de production : le besoin est de repérer et localiser chaque défaut pour écarter la pièce. La bounding box suffit dans la majorité des cas ; on passe au polygone ou à la segmentation d’instances lorsque la surface ou la forme du défaut conditionne la décision (une rayure acceptable en dessous d’une certaine longueur, une porosité tolérée sous un certain diamètre). L’annotation d’images industrielle bascule alors d’une logique de présence à une logique de mesure.
Comptage de plants en agriculture : chaque individu doit être distingué de ses voisins dans des scènes denses et chevauchantes. La bounding box atteint vite ses limites sur des feuillages imbriqués ; la segmentation d’instances, malgré son coût, est souvent le seul format qui préserve un comptage fiable. Sur des cultures en rang bien séparées, la boîte reste au contraire parfaitement adaptée.
Couverture des sols en imagerie satellite : le besoin est une proportion de surfaces par classe, sans dénombrement. La segmentation sémantique est le format naturel, et la précision aux frontières entre classes voisines (culture et friche, bâti et sol nu) concentre l’effort qualité.
Aide au diagnostic en imagerie médicale : la frontière de la structure est la donnée clinique elle-même. La segmentation, validée par des experts, est sans alternative, et le budget du projet se construit autour de cette exigence plutôt que contre elle.
Dans les quatre cas, le raisonnement est identique : partir de la décision métier, en déduire l’information nécessaire, choisir le format minimal qui la porte.
Les stratégies hybrides : combiner les formats sur un même corpus
Les projets matures mélangent fréquemment les géométries. Une stratégie courante consiste à annoter tout le corpus en bounding boxes et à réserver la segmentation aux classes critiques ou aux images difficiles : le modèle de détection route les cas vers le modèle fin. Une autre consiste à segmenter finement un sous-ensemble de référence servant à l’évaluation et à la calibration, tandis que le volume d’entraînement reste en boîtes. Une troisième exploite les approches faiblement supervisées, qui entraînent des modèles de segmentation à partir de boîtes complétées d’un petit lot de masques exacts, avec des résultats intermédiaires documentés dans la littérature.
Ces stratégies exigent une discipline de gestion de corpus : chaque image doit porter la trace de son niveau d’annotation, et les consignes doivent définir sans ambiguïté quelles classes relèvent de quelle géométrie. C’est précisément le type d’arbitrage qu’un prestataire expérimenté aide à structurer en amont ; les équipes d’Infoscribe AI, spécialiste de l’annotation 2D et 3D pour la computer vision, construisent ces schémas mixtes avec le client lors du cadrage, car le bon découpage se décide au vu du corpus réel, pas sur catalogue.
Trancher, tester, itérer
Le bon type d’annotation d’images n’est ni le plus précis ni le moins cher : c’est le niveau minimal d’information qui permet au modèle de rendre la décision attendue, validé par un pilote mesuré. La classification trie, la bounding box localise et compte, le polygone restitue la forme, la segmentation livre le pixel, les points et les lignes capturent postures et trajectoires. Le reste est affaire de contexte : densité des scènes, criticité du domaine, budget, trajectoire du produit. Et parce que ces contextes évoluent, le choix mérite d’être réexaminé à chaque extension du corpus : une annotation d’images pertinente en phase de prototype ne l’est pas toujours au passage à l’échelle.
Pour situer cette décision dans l’ensemble du processus, des consignes au contrôle qualité, notre guide complet de l’annotation d’images couvre le cycle de vie entier d’un projet. Et si vous hésitez entre deux géométries sur un corpus concret, le plus efficace reste d’en discuter sur pièces : vous pouvez contacter notre équipe pour confronter votre cas à des retours de projets comparables.
