Lorsqu’un modèle de computer vision doit analyser un flux vidéo plutôt qu’une image fixe, les exigences posées à l’annotation d’images changent radicalement. Une vidéo n’est pas une simple collection de photographies indépendantes : c’est une séquence ordonnée dans le temps, où chaque frame entretient une relation logique avec celles qui la précèdent et celles qui la suivent. Pour entraîner un modèle capable de suivre un objet en mouvement, d’anticiper sa trajectoire ou de reconnaître un événement sur la durée, l’annotation d’images doit intégrer une dimension supplémentaire — la temporalité — qui transforme en profondeur les workflows, les outils et les critères de qualité.
L’essor des applications vidéo dans la quasi-totalité des secteurs industriels — conduite autonome, analyse sportive, surveillance intelligente, robotique — a fait des séquences temporelles l’un des types de données les plus produits et les plus demandés dans les projets de vision par ordinateur. Trois spécificités techniques structurent ce domaine et distinguent fondamentalement ce type de projet d’un projet d’annotation d’images statiques : le tracking (conservation d’identités persistantes d’une frame à l’autre), l’interpolation sur les keyframes (techniques permettant d’accélérer la production sans sacrifier la précision géométrique), et la cohérence temporelle (critère qualité central qui conditionne l’utilisabilité réelle des données annotées). Maîtriser ces trois dimensions est aujourd’hui une condition nécessaire à la production de datasets vidéo exploitables par des équipes de recherche et de développement en IA.
L’annotation d’images en contexte vidéo : ce qui change par rapport à l’image fixe
Sur une image statique, l’annotation d’images consiste à décrire l’état d’une scène à un instant T : placer une bounding box autour d’un véhicule, tracer le contour d’une zone d’intérêt, attribuer une classe à un objet détecté. Chaque annotation est autonome. La qualité se mesure exclusivement à la précision géométrique du contour et à la justesse de la classe attribuée.
Sur une séquence vidéo, cette autonomie disparaît. Le même véhicule présent sur 500 frames consécutives doit recevoir un identifiant unique, constant tout au long de la séquence. Si l’annotateur attribue un ID différent à la frame 247 et à la frame 248, le modèle de tracking ne peut pas apprendre que ces deux instances sont le même objet. Cette rupture de continuité, invisible lors de la vérification d’une frame isolée, produit des erreurs de suivi dans le modèle entraîné, souvent difficiles à diagnostiquer a posteriori car les métriques statiques habituelles ne les capturent pas.
L’annotation d’images en mode vidéo implique donc trois contraintes absentes en mode statique : la gestion des identités persistantes frame à frame (tracking), la maîtrise des techniques de propagation d’annotations entre frames sans annotation manuelle exhaustive (interpolation), et la vérification de la cohérence de l’ensemble de la séquence plutôt que des images prises isolément (cohérence temporelle).
Ces contraintes ont des conséquences directes sur le volume de travail, les compétences requises des annotateurs, les outils utilisés et les méthodes de contrôle qualité. Comprendre leur articulation est le préalable à toute décision de planification d’un projet vidéo, depuis l’estimation des charges jusqu’au choix du niveau de qualité cible.
Pour une présentation complète du cycle de vie d’un projet d’annotation d’images, des types de géométries aux critères de sélection d’un prestataire, vous pouvez consulter notre guide complet de l’annotation d’images pour l’entraînement de modèles de computer vision.
Le tracking : maintenir des identités persistantes dans l’annotation d’images
Le tracking est la compétence première de l’annotation d’images sur données vidéo. Il consiste à associer un identifiant unique à chaque objet dès son apparition dans la séquence, et à maintenir cet identifiant de façon rigoureusement cohérente jusqu’à sa disparition définitive du champ de la caméra.
Dans un contexte de conduite autonome, un piéton traversant devant un véhicule doit conserver le même ID durant toutes les frames où il est visible, y compris lorsqu’il passe partiellement derrière un poteau, lorsqu’il est tronqué par le bord du champ de vision, ou lorsqu’il s’éloigne au point de ne mesurer que quelques pixels sur l’image. Dès que sa silhouette redevient clairement identifiable, l’annotateur doit lui restituer son identifiant d’origine, et non en créer un nouveau. Un identifiant supplémentaire pour le même individu constitue une erreur de tracking au même titre qu’une bounding box mal ajustée constitue une erreur géométrique.
Cette continuité exige une lecture active de la séquence avant d’annoter. L’annotateur doit mémoriser les objets présents en début de séquence, anticiper les zones d’occultation et appliquer des règles précises définies dans les consignes pour les situations ambiguës. Les principales questions à trancher dans les guidelines sont les suivantes : à partir de quel seuil de visibilité un objet partiellement occulté doit-il être annoté ? Si un objet disparaît pendant plusieurs frames puis réapparaît, faut-il réutiliser son identifiant ou en créer un nouveau ? Comment gérer les situations de fusion et séparation d’objets, comme deux personnes qui se croisent et se confondent momentanément sur l’image ?
Les seuils de décision varient significativement selon les projets et les usages. Un projet de surveillance urbaine peut tolérer une rupture d’ID lors d’une occultation prolongée, là où un projet d’analyse sportive exige la continuité même lors d’une occultation de quelques frames seulement. Un projet de suivi de ballon de football sur des séquences de match doit maintenir l’identifiant de la balle pendant toute la durée de la séquence, y compris lors de son passage derrière des joueurs ou en dehors du champ de vision principal. Ce type d’annotation d’images implique des règles de ré-identification spécifiquement conçues pour le contexte vidéo, qui ne peuvent pas simplement être déduites des consignes destinées aux images fixes.
La ré-identification pose un défi particulier dans les scènes denses. Sur un match de basketball, plusieurs joueurs peuvent se retrouver superposés pendant quelques frames, rendant leurs silhouettes indiscernables, puis se séparer dans des directions différentes. L’annotateur doit déterminer qui est qui sur la base de critères contextuels : numéro de maillot si visible, position sur le terrain, trajectoire prédite à partir des frames précédentes. Ce travail de ré-identification requiert une attention soutenue et un protocole d’arbitrage explicite pour les cas que la consigne générale ne couvre pas.
Dans les projets multi-caméras, la complexité du tracking s’accroît encore : le même individu peut apparaître simultanément sur plusieurs flux vidéo issus de caméras différentes, et les identifiants doivent parfois être harmonisés entre les différentes vues, selon que le modèle entraîné sera destiné à un traitement mono ou multi-caméras. Cette contrainte supplémentaire doit être anticipée dans la conception des consignes et dans l’organisation des équipes d’annotation.
L’interpolation et les keyframes : accélérer l’annotation d’images sans perdre en précision
Annoter frame par frame l’intégralité d’une séquence vidéo serait économiquement prohibitif dans la grande majorité des projets. Une vidéo de cinq minutes filmée à 30 images par seconde représente 9 000 frames. Si chaque frame contient en moyenne 10 objets à annoter individuellement, la séquence génère à elle seule 90 000 annotations avant même de prendre en compte la gestion des identifiants de tracking. Un corpus vidéo destiné à la conduite autonome peut contenir plusieurs millions de frames, réparties sur des centaines de séquences.
L’interpolation est la réponse technique à ce problème de volumétrie. Elle consiste à annoter manuellement un sous-ensemble de frames, appelées keyframes, puis à laisser l’outil d’annotation calculer automatiquement les positions intermédiaires selon une règle de progression paramétrable. L’annotateur valide les frames interpolées, corrige les erreurs et place de nouvelles keyframes là où le mouvement réel de l’objet s’écarte de façon visible du calcul automatique.
Les méthodes d’interpolation disponibles dans les outils d’annotation d’images courants se répartissent en plusieurs catégories. L’interpolation linéaire, la plus simple à mettre en oeuvre, calcule une progression uniforme entre deux keyframes. Elle convient aux objets se déplaçant à vitesse constante en ligne droite, mais produit des résultats imprécis dès que le mouvement est courbe ou variable. L’interpolation cubique (ou spline) ajuste la courbe en tenant compte des accélérations et des décélérations, donnant des résultats plus naturels pour les mouvements biologiques et les véhicules en manoeuvre. Certains outils intègrent des algorithmes de tracking prédictif basés sur des modèles légers — filtres de Kalman, algorithmes multi-objets — qui utilisent les informations visuelles des frames intermédiaires pour corriger automatiquement la trajectoire interpolée et réduire le nombre de corrections manuelles nécessaires.
L’efficacité de l’interpolation dépend directement de la régularité du mouvement et de la cadence choisie pour les keyframes. Pour un objet se déplaçant à vitesse constante en ligne droite, une interpolation linéaire avec une keyframe toutes les 15 à 20 frames produit d’excellents résultats avec un minimum d’interventions correctives. Pour un objet animé d’un mouvement irrégulier — véhicule freinant, joueur changeant brusquement de direction, animal — la fréquence des keyframes doit être augmentée, parfois jusqu’à une keyframe toutes les 3 à 5 frames, ce qui réduit significativement le gain de productivité attendu de l’interpolation.
Les situations où l’interpolation échoue systématiquement dans la pratique de l’annotation d’images sont bien identifiées par les équipes de production expérimentées :
- Le flou de mouvement : un objet en déplacement rapide produit une image floue sur les frames intermédiaires, rendant la position réelle difficile à estimer avec précision à partir des seules frames encadrantes.
- Les changements brusques de direction : une interpolation linéaire ou cubique ne peut pas prédire un retournement soudain non visible dans les frames précédentes et ne dispose d’aucune information sur ce qui se passe entre les deux keyframes.
- Les occultations : dès qu’un objet disparaît derrière un autre élément de la scène, la trajectoire interpolée est incorrecte par définition, car l’outil ne dispose d’aucune information sur la position de l’objet caché.
- Les déformations de forme importantes : un être humain en plein mouvement sportif change de silhouette de façon non linéaire d’une frame à l’autre, ce qu’une interpolation de bounding box rectangulaire ne peut pas modéliser fidèlement.
Dans ces situations, l’annotateur doit placer une keyframe sur chaque frame problématique, ce qui revient à annuler le bénéfice de l’interpolation sur ces passages. La lecture préalable de la séquence, avant de commencer à annoter, est décisive pour identifier ces passages à l’avance et ne pas les découvrir lors du contrôle qualité, une fois que les erreurs d’interpolation se sont propagées sur plusieurs dizaines de frames.
L’annotation d’images sur données vidéo s’organise ainsi généralement en deux temps successifs et distincts : une première passe de keyframing stratégique, où l’annotateur le plus expérimenté place les keyframes aux positions critiques et configure l’interpolation ; une seconde passe de validation et de correction des frames interpolées, qui peut être confiée à un profil plus junior. Certains projets distinguent explicitement ces deux rôles dans l’organisation de la production, ce qui permet d’optimiser l’affectation des compétences sur les tâches les plus exigeantes.
Cohérence temporelle : le critère central d’une annotation d’images vidéo de qualité
Dans l’annotation d’images statiques, le contrôle qualité porte sur la précision géométrique de chaque annotation prise individuellement et sur la justesse des classes attribuées. Ces critères restent valides pour l’annotation vidéo, mais ils ne sont pas suffisants et peuvent conduire à accepter des données de fait inutilisables pour l’entraînement de modèles de tracking.
Dans le contexte vidéo, un critère supplémentaire s’impose : la cohérence temporelle. Une annotation peut être géométriquement précise sur chaque frame prise isolément, et produire pourtant un résultat inutilisable si les bounding boxes se déplacent d’une frame à l’autre d’une façon incohérente avec le mouvement physique de l’objet, ou si des ruptures d’identifiant surviennent au milieu d’une séquence sans justification dans la consigne.
La cohérence temporelle se mesure principalement à travers deux indicateurs complémentaires. Le premier est la stabilité des identifiants : un même objet conserve-t-il le même ID sur l’ensemble de la séquence, sans rupture injustifiée ? Toute rupture d’identifiant constitue une erreur de tracking, même si l’annotation géométrique de chaque frame est par ailleurs correcte. Le second est la continuité géométrique : la trajectoire des bounding boxes d’un objet suit-elle une courbe régulière, cohérente avec la physique du mouvement observé ? Un objet qui se déplace de plusieurs dizaines de pixels entre deux frames consécutives sans raison physique apparente indique une correction manuelle incohérente ou une interpolation défaillante, non corrigée lors de la phase de validation.
Le contrôle qualité d’une annotation d’images vidéo doit donc être réalisé en mode lecture et non en parcourant les frames individuellement. Regarder défiler la séquence à vitesse normale ou légèrement accélérée permet de détecter immédiatement les incohérences que la vérification frame par frame laisse systématiquement passer. Cette pratique du contrôle par visualisation en mouvement est aujourd’hui reconnue comme indispensable dans les protocoles QC des projets vidéo exigeants, et doit être planifiée comme une étape à part entière dans le budget du projet.
Certains outils d’annotation permettent de calculer automatiquement des indicateurs de cohérence temporelle : analyse de la distribution des déplacements d’objets d’une frame à l’autre, signalement automatique des sauts d’identifiant, détection des frames où la surface ou la forme d’un objet varie de façon anormale par rapport à la frame précédente. Ces fonctionnalités automatisent la détection de catégories d’erreurs spécifiques au vidéo, mais ne remplacent pas la validation humaine, qui reste nécessaire pour arbitrer les cas limites et corriger les erreurs signalées.
Les niveaux de contrôle varient selon les applications. Un projet destiné à des usages critiques impose un contrôle exhaustif de chaque séquence livrée par un contrôleur indépendant de l’annotateur, avec revue en lecture vidéo systématique et rapport de non-conformité tracé. Un projet de recherche ou de prototype peut s’accommoder d’un protocole moins intensif, à condition que les métriques de cohérence temporelle restent dans des seuils définis en amont avec le client.
Volumétrie et planification d’un projet d’annotation d’images sur données vidéo
La spécificité vidéo la plus immédiatement visible pour un chef de projet est la volumétrie. Un projet d’annotation d’images standard en mode statique peut traiter quelques milliers d’images sur quelques semaines. Un projet vidéo génère rapidement des dizaines ou des centaines de milliers de frames, même à partir d’un corpus de vidéos de durée modeste.
La première décision de planification porte sur le taux d’échantillonnage des frames. Annoter l’intégralité des frames d’une vidéo à 30 fps est rarement nécessaire, en raison de la forte redondance d’information entre frames consécutives sur des séquences à faible dynamisme. Un échantillonnage à 5 fps (une frame toutes les 200 millisecondes) suffit dans de nombreux cas de surveillance statique. En revanche, pour la conduite autonome à vitesse élevée ou pour l’analyse de gestes sportifs précis, un taux d’échantillonnage plus élevé est nécessaire pour capturer les positions intermédiaires pertinentes pour l’entraînement du modèle.
Le choix du taux d’échantillonnage doit être guidé par l’usage final du modèle et non par les seules contraintes budgétaires. Sous-échantillonner un corpus de conduite en milieu urbain peut faire manquer les phases critiques de freinage ou d’insertion de piétons dans le champ. Sur-échantillonner une séquence de surveillance d’entrepôt produit des données redondantes sans valeur ajoutée pour les performances du modèle et génère un coût d’annotation d’images sans bénéfice mesurable. La décision d’échantillonnage doit donc être prise en concertation avec les équipes de machine learning du client, sur la base des caractéristiques du modèle cible.
La densité d’annotation par frame constitue la deuxième variable de volumétrie. Dans les scènes denses — intersections urbaines, matchs de sport collectif — chaque frame peut contenir 10 à 20 objets à annoter individuellement, chacun devant recevoir et conserver son identifiant de tracking. Multiplié par plusieurs milliers de frames, ce chiffre génère un volume de travail considérable, que l’interpolation réduit sans l’annuler. Un projet de suivi de football, portant sur plusieurs centaines de milliers de frames avec tracking persistant du ballon sur toutes les séquences, illustre concrètement les ordres de grandeur en jeu dans les projets vidéo de grande taille.
La gestion des données brutes est également une contrainte structurante de ces projets. Une séquence vidéo en haute définition peut peser plusieurs gigaoctets par heure de tournage. Les fichiers d’annotation (JSON, XML, CSV frame-indexés) atteignent eux-mêmes des tailles significatives pour les corpus de grande taille. Une préparation rigoureuse du pipeline de données — découpage des séquences en segments exploitables, vérification des métadonnées de synchronisation, choix d’un format standard d’export des annotations — conditionne la fluidité de la production autant que la qualité de l’annotation d’images elle-même.
Les formats de référence pour l’export des annotations vidéo incluent notamment les fichiers JSON au format MOT (Multi-Object Tracking Challenge), les exports COCO pour la détection et le tracking, et les formats propriétaires de certains frameworks de conduite autonome. Le choix du format doit être aligné avec le pipeline d’entraînement du client dès le démarrage du projet pour éviter des travaux de conversion coûteux en fin de production.
Les cas d’usage de l’annotation d’images vidéo selon les secteurs
L’annotation d’images appliquée aux séquences vidéo couvre des domaines très variés, chacun imposant ses propres contraintes techniques au travail d’annotation et à l’organisation de la production.
Conduite autonome et véhicules connectés
C’est le domaine qui a le plus structuré et formalisé la pratique de l’annotation vidéo à grande échelle. Les systèmes de perception des véhicules autonomes doivent détecter, classer et suivre en temps quasi réel piétons, cyclistes, autres véhicules et éléments de l’infrastructure routière. Les séquences annotées servent à entraîner et valider les modèles de tracking multi-objets. La densité typique en milieu urbain atteint 15 à 20 objets par frame. Les consignes de tracking y sont particulièrement précises sur la gestion des occultations, des sorties de champ, des regroupements de piétons et des transitions entre classes. Les projets de ce secteur combinent souvent l’annotation d’images 2D avec des données LiDAR 3D synchronisées, avec des contraintes de fusion multi-modale imposant une cohérence entre les deux types d’annotation.
Analyse sportive
Le sport constitue un terrain d’application majeur pour le tracking d’objets sur séquences vidéo. Suivi de ballon, tracking des joueurs, reconnaissance d’actions et d’événements — but, faute, substitution, contact au sol d’un coureur — requièrent une annotation d’images précise à la frame près, parfois au dixième de seconde. Les volumes traités peuvent être significatifs : une saison de compétition représente plusieurs centaines de milliers de frames à annoter avec tracking persistant. Les contraintes de précision temporelle pour l’annotation d’événements (identifier le moment exact d’un contact ou d’une passe) distinguent ces projets des applications de surveillance, où une précision à quelques frames près est suffisante.
Les projets d’analyse du mouvement corporel ajoutent à l’annotation d’images une couche de keypoints biomécaniques — positions articulaires sur 21 à 22 points anatomiques — devant être cohérents avec la physiologie humaine d’une frame à l’autre, y compris pour les membres non visibles sur certaines prises de vue. Le respect de la symétrie corporelle et des contraintes articulaires constitue un critère qualité supplémentaire propre à ce type de projet.
Surveillance intelligente et smart city
Les applications de vidéosurveillance intelligente — comptage de flux piétonniers, détection d’anomalies comportementales, gestion des accès — s’appuient sur des datasets vidéo annotés intégrant tracking de personnes, segmentation de zones d’intérêt et classification d’événements. Ces applications sont soumises aux obligations du RGPD en matière de traitement de données personnelles visibles sur les images. Pour un traitement détaillé de ces contraintes, l’article consacré à l’annotation d’images dans un cadre RGPD (visages, plaques et données personnelles) expose les obligations spécifiques applicables à ce type de projet et les mesures d’anonymisation à prévoir en amont de la production.
Robotique industrielle et logistique
Les robots manipulateurs en entrepôt logistique ou sur ligne de production utilisent des modèles de vision entraînés sur des vidéos de manipulation d’objets et de gestes de travail. Le tracking permet de suivre la trajectoire d’un colis sur un convoyeur, d’identifier un geste de manipulation non conforme, de détecter une anomalie comportementale en mouvement. La segmentation fine de personnes dans des zones d’intérêt prédéfinies — pour un système de sécurité autour d’une machine — requiert une précision au pixel près, maintenue de façon cohérente sur l’ensemble de la séquence et dans les différentes conditions d’éclairage de l’environnement industriel.
Bonnes pratiques pour une annotation d’images sur séquences vidéo réussie
La réussite d’un projet d’annotation d’images sur données vidéo se joue en grande partie dans les décisions prises avant le démarrage de la production. Les problèmes les plus coûteux — incohérences de tracking généralisées, volumétrie sous-estimée, pipeline de données mal structuré — naissent presque toujours d’un déficit de préparation plutôt que d’erreurs commises en cours de production.
Rédiger des consignes adaptées au contexte temporel
Les guidelines standard d’annotation d’images statiques doivent être complétées par des règles explicites couvrant la gestion des identifiants de tracking, le comportement attendu lors des occultations, les seuils de visibilité minimale pour annoter un objet, et les critères de ré-identification après disparition prolongée. Ces règles ne peuvent pas être laissées à l’appréciation individuelle de l’annotateur sans risque de divergences fortes entre travailleurs sur un même corpus. Des cas illustrés — captures d’écran commentées montrant la bonne décision dans chaque situation ambiguë — sont systématiquement plus efficaces que des descriptions textuelles seules, en particulier pour des cas limites impliquant des occultations ou des fusions d’objets.
Choisir et maîtriser un outil adapté au mode vidéo
Les environnements généralistes d’annotation d’images ne sont pas tous adaptés au travail vidéo. Il faut vérifier la présence d’un module de tracking natif, la qualité du navigateur de séquences, la fluidité de la lecture à différentes vitesses, et les fonctionnalités d’interpolation disponibles. Des outils spécialisés proposent un mode vidéo complet avec tracking interpolé, suivi persistant des IDs et interface dédiée à la révision de séquences. La maîtrise de l’outil par les annotateurs, acquise lors d’une formation structurée avant démarrage, est une condition non négociable de la productivité et de la qualité : un annotateur non formé à l’outil vidéo produira des annotations statiquement correctes mais temporellement incohérentes.
Organiser le contrôle qualité en mode lecture vidéo
La cohérence temporelle ne peut pas être vérifiée frame par frame. Le processus de contrôle qualité doit inclure une revue systématique en lecture vidéo, réalisée par un contrôleur différent de l’annotateur, pour détecter les ruptures d’identifiant et les incohérences de trajectoire que le contrôle statique laisse passer. Cette passe de révision en mode lecture doit être planifiée dans le budget et le calendrier du projet dès la phase de devis, et non ajoutée en urgence en fin de production lors de la découverte des premières anomalies.
Structurer les données en amont
Un projet d’annotation d’images vidéo bien préparé se distingue par une structuration rigoureuse des séquences dès leur réception : découpage en segments de durée homogène, vérification des métadonnées de synchronisation, plan de nommage cohérent, et identification préalable des séquences à fort taux de mouvement qui nécessiteront une cadence de keyframes plus élevée. Ces pré-requis, souvent négligés dans l’urgence de démarrage, conditionnent la fluidité de l’ensemble de la production et la fiabilité des exports finaux.
L’annotation d’images en mode vidéo représente l’une des frontières les plus exigeantes de la vision par ordinateur appliquée. Définir le bon taux d’échantillonnage, rédiger des consignes de tracking sans ambiguïté, organiser une revue qualité temporelle rigoureuse : ces décisions conditionnent directement la valeur des datasets produits et, in fine, la performance des modèles entraînés sur ces données. La page dédiée à l’annotation 2D et 3D pour la computer vision présente l’ensemble des services disponibles pour accompagner ces projets, de la définition des consignes jusqu’à la livraison finale.
Pour échanger sur votre projet vidéo — conduite autonome, analyse sportive, surveillance intelligente ou robotique industrielle — et évaluer le niveau de qualité adapté à vos exigences, contactez les équipes d’Infoscribe AI.
