Un modèle de computer vision n’est jamais meilleur que les données qui l’ont construit. Cette règle, souvent énoncée comme une évidence, se heurte en pratique à une série de questions concrètes que toute équipe data affronte tôt ou tard : combien d’images faut-il collecter avant de démarrer une campagne d’annotation d’images ? Quelle variabilité est réellement nécessaire pour que le modèle généralise correctement hors de ses conditions d’entraînement ? Quels biais risquent de se glisser dans les données dès la phase de collecte, et comment les détecter avant qu’ils ne compromettent les performances en production ?
La conception d’un dataset d’entraînement est une discipline à part entière, distincte de l’annotation d’images proprement dite. Elle se joue en amont, lors des décisions de collecte, d’échantillonnage et de structuration du corpus. Les erreurs commises à ce stade, qu’il s’agisse d’une volumétrie insuffisante, d’un manque de diversité ou de biais systématiques, sont souvent difficiles à corriger sans reprendre la phase de labellisation depuis le début, ce qui représente un coût opérationnel considérable.
Cet article propose un guide méthodologique pour concevoir un dataset d’entraînement solide : comment calibrer le volume selon la tâche et le domaine, comment garantir la diversité nécessaire à la généralisation, comment identifier et corriger les biais avant et pendant la production, et comment structurer les splits pour une évaluation fiable. Il s’adresse aux équipes qui pilotent un projet de vision par ordinateur et souhaitent poser des fondations solides avant de lancer une opération d’annotation d’images à grande échelle.
De combien d’images a-t-on réellement besoin ? La question centrale de l’annotation d’images
C’est la question que posent invariablement les équipes data science et les chefs de projet au démarrage d’un projet de vision par ordinateur. La réponse honnête est qu’il n’existe pas de règle universelle. La volumétrie nécessaire dépend d’un ensemble de facteurs interdépendants que l’on peut néanmoins structurer pour guider les décisions de collecte.
L’annotation d’images n’est pas une fin en soi : elle produit des exemples étiquetés à partir desquels le modèle apprend à généraliser. La quantité d’exemples requis dépend donc de la complexité du problème à résoudre, du nombre de classes à distinguer, du degré de ressemblance visuelle entre elles, de la disponibilité de modèles pré-entraînés dans le domaine, et du niveau de performance requis par l’application finale.
Pour bien comprendre les fondamentaux du cycle de vie d’un projet de vision par ordinateur, les équipes qui débutent dans la construction de datasets peuvent se référer à notre guide complet sur l’annotation d’images pour entraîner un modèle de computer vision, qui couvre l’ensemble des étapes depuis la définition des classes jusqu’à la validation des performances.
Les règles empiriques selon la tâche
Pour une tâche de classification binaire ou multi-classes avec des catégories visuellement distinctes, les retours d’expérience de la communauté ML convergent vers un minimum de 500 à 1 000 images annotées par classe lorsqu’on fine-tune un modèle pré-entraîné sur un dataset générique comme ImageNet. En entraînement from scratch, les exigences sont sensiblement plus élevées : plusieurs milliers d’exemples par classe constituent souvent un minimum pour atteindre des performances acceptables sur des distributions variées.
Pour la détection d’objets, la complexité augmente significativement. Chaque image peut contenir plusieurs instances de plusieurs classes, avec des occlusions partielles, des variations d’échelle et des configurations de fond très différentes. Les benchmarks sur des datasets génériques comme COCO (80 classes, plus de 200 000 images annotées, avec près de 1,5 million d’instances) donnent une idée de l’ordre de grandeur qui a permis de développer les modèles de détection de référence. Pour des applications métier spécialisées, des datasets bien conçus de 2 000 à 8 000 images peuvent suffire si la variabilité des conditions d’acquisition a été planifiée avec soin.
Pour la segmentation sémantique ou d’instances, le coût d’annotation par image est nettement plus élevé : chaque pixel doit être attribué à une classe ou à une instance, ce qui augmente considérablement le temps de production. Les projets de segmentation se caractérisent généralement par des datasets plus restreints en nombre d’images, mais de très haute densité d’annotation, souvent combinés à des techniques de pré-annotation automatique pour limiter la charge humaine tout en maintenant la précision requise.
Les facteurs qui font varier la volumétrie nécessaire
Plusieurs variables modulent de façon significative le volume de données requis, et leur interaction explique pourquoi deux projets apparemment similaires peuvent avoir des besoins très différents.
La complexité visuelle des classes est déterminante. Distinguer une voiture d’un piéton est une tâche visuellement simple pour un modèle de détection moderne. Distinguer une microfissure de surface d’une rayure d’outil sur une pièce métallique requiert une granularité d’annotation bien plus élevée et des volumes plus importants pour couvrir toutes les variantes morphologiques de chaque type de défaut. Plus les frontières entre classes sont visuellement ambiguës, plus le dataset doit être riche en exemples contrastifs.
La disponibilité d’un modèle pré-entraîné adaptable au domaine est un facteur de réduction significatif des besoins en volume. Les modèles de fondation visuels pré-entraînés sur de très larges corpus permettent de transférer des représentations génériques vers un domaine spécifique avec un nombre d’exemples annotés bien inférieur à ce qu’exigerait un entraînement from scratch. L’essor des modèles de fondation ouverts a ainsi rendu accessibles des performances de qualité sur des datasets de quelques centaines d’images dans des domaines très spécialisés, à condition que les images soient représentatives et les annotations rigoureuses.
La tolérance aux erreurs du système final est également déterminante. Une application où le faux négatif a un coût élevé, comme la détection d’un défaut industriel qui peut provoquer un rappel de produit ou la détection d’une anomalie médicale, nécessite des données suffisamment volumineuses pour calibrer précisément les seuils de confiance sur des ensembles de test statistiquement représentatifs, et vérifier que les performances cibles sont atteintes sur les cas les plus difficiles.
La variabilité des conditions d’acquisition dans l’environnement de production est souvent le facteur le plus difficile à estimer en amont. Un modèle destiné à fonctionner sur une ligne de production maîtrisée, avec un éclairage constant et une caméra fixe, peut atteindre de bonnes performances avec un volume plus restreint qu’un modèle destiné à être embarqué sur un véhicule ou un drone opérant en conditions réelles variables. Cette variabilité doit être anticipée dans le protocole de collecte, sous peine de devoir reprendre une nouvelle campagne d’annotation d’images lorsque le modèle se révèle fragile en production.
Diversité des données : la dimension souvent négligée d’un projet d’annotation d’images
La volumétrie est une condition nécessaire mais non suffisante. Un dataset composé de 100 000 images toutes prises dans des conditions homogènes, avec le même éclairage, le même angle de capture et le même fond, produira un modèle moins robuste qu’un dataset de 5 000 images couvrant fidèlement la variabilité réelle du problème. C’est l’un des enseignements les plus constants des projets de vision par ordinateur en production.
La diversité est la propriété qui permet au modèle de ne pas mémoriser les particularités du dataset d’entraînement, mais de capturer les invariants pertinents pour la tâche. Dans un projet d’annotation d’images, la diversité ne s’improvise pas après la collecte : elle se planifie dans le protocole d’acquisition, avant que la moindre image soit soumise aux annotateurs.
Les axes de diversité à anticiper
La diversité d’un dataset d’entraînement se décompose en plusieurs dimensions qu’il convient d’identifier et de couvrir de façon systématique, en fonction des conditions réelles d’utilisation du modèle.
La diversité des conditions d’acquisition recouvre les variations de lumière (naturelle, artificielle, mixte), d’heure du jour, de saison et de météo pour les applications en extérieur. Un modèle de détection d’objets sur imagerie drone ne pourra pas fonctionner correctement en conditions nuageuses ou à contre-jour si aucune image de ce type n’a été incluse dans le dataset d’entraînement. Cette dimension est souvent sous-estimée dans les phases initiales d’un projet, car les premières images disponibles sont généralement celles prises dans de bonnes conditions de capture.
La diversité des angles et distances d’acquisition est tout aussi critique. Les objets d’intérêt doivent apparaître dans le dataset depuis différents angles (de face, de côté, en plongée, partiellement occultés), à différentes distances, et dans différentes configurations spatiales. Les petits objets, c’est-à-dire ceux qui occupent une faible proportion de la surface de l’image, et les objets tronqués par le bord de l’image constituent deux familles de cas difficiles systématiquement sous-représentées dans les datasets qui n’ont pas fait l’objet d’un protocole de collecte rigoureux. Ce sont pourtant souvent ces cas limites qui déterminent les performances réelles en production.
La diversité des fonds et des contextes visuels est particulièrement importante dans les environnements où les objets cibles apparaissent sur des fonds changeants et complexes. Un objet posé sur un fond uni est beaucoup plus facile à détecter que le même objet intégré dans une scène encombrée. Si le modèle n’a été exposé qu’à des images sur fonds simples en entraînement, ses performances dans des environnements réels seront médiocres, quels que soient le volume d’annotation et la rigueur des labels.
La diversité intra-classe, enfin, concerne la variabilité des instances au sein d’une même catégorie. Une classe intitulée « défaut de surface » peut recouvrir des rayures fines, des impacts ponctuels, des bulles, des inclusions et des décolorations de couleurs et morphologies très différentes. Si le dataset ne représente qu’un sous-type de ce défaut, le modèle sera aveugle aux autres variantes lors du déploiement en production, même si ses métriques de validation semblent excellentes sur les données d’entraînement.
Équilibre des classes et gestion de la sous-représentation
Le déséquilibre de classes est l’une des problématiques les plus fréquentes dans les projets d’annotation d’images, en particulier dans les domaines où les événements d’intérêt sont rares par nature : défauts industriels sur des lignes de production à fort taux de conformité, anomalies médicales sur des populations majoritairement saines, incidents en vidéosurveillance sur des flux majoritairement sans événement.
Lorsqu’une classe représente 95 % des exemples et qu’une autre n’en représente que 5 %, le modèle apprend rapidement à prédire systématiquement la classe majoritaire. Cette stratégie lui permet d’obtenir une précision globale apparemment élevée sur les données d’évaluation, tout en étant pratiquement inutile pour détecter les cas minoritaires. C’est précisément ceux-ci que l’on cherche à détecter dans la majorité des applications critiques.
La stratégie la plus efficace pour corriger ce déséquilibre est d’agir à la source, lors de la collecte : en sur-échantillonnant délibérément les cas rares, c’est-à-dire en collectant un plus grand nombre d’images représentant les classes minoritaires, quitte à les rechercher activement dans les archives de production ou à organiser des sessions de capture dédiées. Les techniques algorithmiques de correction (augmentation de données sur les exemples minoritaires, pondération des exemples dans la fonction de perte, sous-échantillonnage de la classe majoritaire) sont utiles en complément, mais elles ne remplacent pas un effort de collecte ciblée. Un dataset naturellement équilibré est toujours préférable à un dataset artificiellement rééquilibré en post-traitement.
Identifier et corriger les biais dans un dataset d’annotation d’images
Le biais de dataset est une propriété systématique et non aléatoire qui fait que le modèle apprend une représentation déformée de la réalité. Contrairement au bruit, qui est aléatoire et tend à se moyenniser sur de grands volumes, le biais se renforce avec la taille du dataset. Plus le corpus est grand, plus les patterns biaisés sont appris avec confiance par le modèle.
Dans un projet d’annotation d’images, les biais peuvent se glisser à toutes les étapes : lors de la définition du scope de collecte, lors de la sélection et du tri des images, lors de la définition des classes et du schéma d’annotation, et lors de l’annotation elle-même si les consignes sont imprécises ou inégalement appliquées. Comprendre les principales sources de biais est la première étape pour les prévenir.
Les principales sources de biais dans un dataset
Le biais de sélection est le plus répandu. Il survient lorsque les images collectées ne représentent pas fidèlement la distribution des situations que le modèle va rencontrer en production. Un dataset constitué à partir d’une seule source d’images, d’une seule caméra, d’une seule période de temps ou d’un seul contexte de production aura inévitablement des angles morts, c’est-à-dire des zones de l’espace visuel réel qui seront totalement inconnues du modèle.
Un exemple fréquent dans les projets industriels est la constitution d’un dataset à partir des rejets identifiés manuellement par les opérateurs sur une ligne de production. Ce mode de collecte exclut par définition les défauts qui ont passé le contrôle humain, créant un biais de confirmation massif : le modèle apprend uniquement les défauts que les opérateurs savent déjà détecter, et reste aveugle à ceux qui leur échappent, qui sont précisément ceux que l’on cherche à automatiser.
Le biais de corrélation spurieuse survient lorsque le modèle apprend une variable parasite corrélée avec la variable d’intérêt, sans qu’il existe de lien causal entre les deux. La variable parasite peut être une caractéristique de l’image (un artifact de traitement, une règle de mesure présente dans le champ de vision lors des captures de cas positifs), une caractéristique du fond (un fond particulier systématiquement associé à une certaine classe dans le dataset), ou une caractéristique de l’équipement de capture (un modèle de caméra utilisé uniquement pour certains types de cas). Ce type de biais est particulièrement difficile à détecter car les performances sur les données de validation restent bonnes : la corrélation spurieuse est également présente dans le jeu de validation, et ne se révèle que lors du déploiement dans des conditions légèrement différentes.
Le biais d’annotation survient lorsque les annotateurs introduisent de la variabilité systématique dans les étiquettes, en raison de consignes imprécises, de cas limites non documentés, ou de différences d’interprétation entre annotateurs. Ce type de biais est généralement détectable par le suivi des métriques d’accord inter-annotateurs et par l’analyse des zones de désaccord sur les cas litigieux. Les projets d’annotation d’images sérieux intègrent des protocoles de contrôle qualité spécifiquement dédiés à l’identification et à la correction de ces incohérences, avant la livraison finale des données annotées.
Auditer la distribution d’un dataset avant de lancer l’annotation
Avant de lancer une campagne d’annotation d’images à grande échelle, une étape d’audit de distribution du dataset brut est fortement recommandée. Cette étape, souvent négligée dans la précipitation des calendriers de projet, permet d’identifier les déséquilibres et les angles morts avant d’engager des ressources d’annotation sur un corpus mal structuré.
L’audit porte sur plusieurs dimensions. La distribution des attributs visuels mesurables (luminosité moyenne des images, distribution des résolutions, distribution des couleurs dominantes par zone de l’image) permet de vérifier que le dataset ne provient pas d’une source trop homogène. L’analyse des métadonnées disponibles (date de capture, identifiant de caméra ou de capteur, localisation ou ligne de production, opérateur ou session) permet de confirmer que le dataset couvre bien plusieurs sources indépendantes et plusieurs sessions de capture distinctes.
L’analyse des embeddings visuels est particulièrement utile pour les grands datasets. En projetant les représentations visuelles extraites d’un réseau pré-entraîné dans un espace de basse dimension (via des techniques de réduction comme t-SNE ou UMAP), il devient possible d’identifier visuellement des clusters qui correspondent à des sous-populations distinctes, de repérer les zones peu denses qui signalent des cas sous-représentés, et d’évaluer la couverture globale du dataset par rapport à la distribution attendue en production. Ces analyses permettent d’orienter la collecte complémentaire avant que l’annotation ne soit lancée, évitant ainsi les révisions coûteuses en cours de production.
Structurer les splits train, validation et test d’un dataset d’entraînement
La répartition des données entre les ensembles d’entraînement, de validation et de test conditionne directement la fiabilité de l’évaluation du modèle. Un split mal conçu produit des métriques de validation trompeuses qui ne reflètent pas les performances réelles en conditions de production.
Les règles de répartition et leurs nuances
La répartition 70 % / 15 % / 15 % est un point de départ courant : 70 % des images pour l’entraînement, 15 % pour la validation utilisée lors de l’optimisation des hyperparamètres, 15 % pour le test final utilisé une seule fois pour l’évaluation définitive des performances. Cette répartition doit cependant être adaptée en fonction du volume total du dataset et de la distribution des classes.
Pour un dataset de 10 000 images, un ensemble de test de 1 500 images est statistiquement solide et permet d’estimer les performances avec une bonne précision même sur des classes minoritaires. Pour un dataset de 500 images, les ensembles de validation et de test sont trop petits pour mesurer précisément les performances sur des classes rares, et des techniques de validation croisée permettent alors une estimation plus fiable et plus robuste.
Dans les projets à haute exigence qualitative, il est souvent utile de constituer un ensemble de test « difficile » distinct de l’ensemble de test standard. Cet ensemble est constitué d’une sélection délibérée de cas limites : occlusions fortes, conditions d’éclairage extrêmes, morphologies rares, fonds complexes. Il mesure la robustesse du modèle dans des situations adverses, plutôt que ses performances moyennes sur des cas représentatifs. Les deux ensembles de test apportent des informations complémentaires et permettent de mieux caractériser le profil de risque du modèle en production.
Prévenir la fuite de données entre les splits
La fuite de données entre les splits est l’une des erreurs les plus fréquentes et les plus dommageables dans les projets de machine learning. Elle survient lorsque des informations du jeu de test se retrouvent indirectement dans le jeu d’entraînement, produisant des métriques artificiellement optimistes qui s’effondrent lors du déploiement en conditions réelles.
Dans un projet d’annotation d’images, les sources courantes de fuite incluent la présence de doublons ou quasi-doublons entre les splits (images très similaires provenant de la même séquence de capture ou du même burst de frames), la division d’une séquence vidéo entre les jeux d’entraînement et de test (le modèle « reconnaît » des frames temporellement proches de celles qu’il a vues en entraînement), ou l’utilisation de métadonnées corrélées avec la variable cible qui ne seraient pas disponibles en inférence réelle.
La règle fondamentale est de réaliser les splits sur la base d’entités indépendantes : par sujet pour les applications médicales ou agricoles où plusieurs images peuvent provenir du même individu ou de la même plante, par session de capture pour les projets industriels où plusieurs images d’un même lot de production doivent rester regroupées dans le même split, ou par localisation géographique pour les projets d’imagerie satellite ou drone où des zones adjacentes sont visuellement redondantes. Le split aléatoire au niveau de l’image individuelle est à éviter dès lors que les images ne sont pas statistiquement indépendantes les unes des autres.
Faire évoluer son dataset d’annotation d’images en production
Un dataset d’entraînement n’est pas un livrable figé. Dès le déploiement du modèle, les conditions du monde réel commencent progressivement à diverger par rapport aux conditions qui ont présidé à la collecte initiale des données. Ce phénomène, connu sous le nom de data drift, est inévitable et doit être anticipé dans la stratégie de conception du dataset et du pipeline d’annotation.
Détecter le data drift et planifier le ré-échantillonnage
Le data drift se manifeste lorsque la distribution statistique des données d’entrée du modèle en production s’écarte de la distribution du dataset d’entraînement. En vision par ordinateur, ce phénomène peut correspondre à un changement de caméra ou d’objectif, à des modifications des conditions d’éclairage dans un atelier ou une serre, à l’introduction de nouveaux types d’objets à détecter qui n’existaient pas lors de la collecte initiale, ou à l’évolution naturelle du domaine (nouvelles variétés de cultures, nouveaux formats d’emballage, nouvelles configurations de chaînes de production).
La détection du drift repose sur la surveillance de métriques statistiques sur les données en production : distribution des scores de confiance du modèle sur les prédictions récentes, distribution des représentations visuelles extraites par le réseau, fréquence des prédictions par classe. Un drift significatif signale qu’il est temps de lancer une nouvelle campagne d’annotation d’images pour actualiser le dataset d’entraînement avec des exemples représentatifs des nouvelles conditions d’acquisition.
Boucles de feedback et versioning du dataset
Les boucles de feedback consistent à utiliser les erreurs du modèle en production comme signal d’orientation pour la collecte de nouvelles données. Les cas de faux positifs et de faux négatifs identifiés en production, par des opérateurs humains qui corrigent les prédictions du modèle ou par des mécanismes de validation automatique, sont des candidats de premier ordre pour une nouvelle campagne d’annotation d’images. Ces cas représentent exactement les zones de l’espace visuel où le modèle est insuffisamment calibré, et leur inclusion dans le dataset d’entraînement permet d’améliorer les performances de façon ciblée, sans avoir à constituer un nouveau dataset from scratch.
Le versioning du dataset est indispensable pour maintenir la reproductibilité des expériences et la traçabilité des performances au fil des itérations. Chaque version du dataset doit être documentée avec ses métadonnées de production : dates de collecte, sources d’images, volumes par classe, schéma d’annotation appliqué, identifiants des lots d’annotation. Cette documentation permet de comprendre l’origine des évolutions de performance entre versions successives du modèle, et de reproduire un modèle antérieur en cas de régression imprévue en production.
À mesure que le dataset s’enrichit en itérations successives, des audits réguliers permettent de détecter les annotations devenues obsolètes ou incohérentes avec les versions actualisées des consignes, en particulier lorsque le schéma de classes a évolué entre deux cycles de développement. Ces révisions d’annotation font partie intégrante d’une stratégie de maintien de la qualité du dataset sur le long terme, et conditionnent la fiabilité des modèles dans la durée.
Conclusion : la conception du dataset, un investissement structurant pour votre annotation d’images
Constituer un dataset d’entraînement solide est une démarche qui commence bien en amont de la première campagne d’annotation d’images. La volumétrie, la diversité et l’absence de biais systématiques sont trois propriétés interdépendantes. Un dataset volumineux mais peu diversifié produira un modèle fragile dès que les conditions de production s’écartent légèrement des conditions d’entraînement. Un dataset biaisé produira un modèle performant en validation mais peu fiable en production. Un dataset mal splitté produira des métriques trompeuses qui masquent les faiblesses réelles du modèle jusqu’au déploiement.
Les décisions prises lors de la conception du dataset, c’est-à-dire les choix de sources de données, les protocoles d’acquisition, la stratégie d’équilibrage des classes, la structuration des splits et l’anticipation du drift en production, ont des répercussions durables sur la performance des modèles et sur les coûts de maintenance à long terme. Ces décisions méritent autant d’attention que l’architecture du modèle ou le choix de l’outil d’annotation.
Pour aller plus loin dans la compréhension des bonnes pratiques à chaque étape d’un projet de labellisation, l’article sur les 10 erreurs les plus fréquentes en annotation d’images détaille les pièges opérationnels à éviter lors de la production des annotations. Les équipes souhaitant concevoir leur dataset dans les meilleures conditions trouveront également dans le guide dédié sur l’annotation 2D et 3D pour la computer vision un panorama complet des méthodes et des outils disponibles pour les projets de vision par ordinateur.
Vous souhaitez structurer la volumétrie et la diversité de votre prochain dataset d’annotation d’images, ou bénéficier d’une expertise sur la détection des biais dans vos données existantes ? Prenez contact avec les équipes d’Infoscribe AI pour discuter de vos contraintes et de vos objectifs de performance.
