Préparer un dataset vidéo – échantillonnage et diversité

Un corpus vidéo ne se constitue pas en accumulant des heures de séquences. Ce qui détermine sa valeur est le nombre de situations distinctes qu’il couvre, et cette quantité n’a presque aucun rapport avec la durée totale. Cet article expose la méthode. Il prolonge l’article consacré au RGPD et à l’annotation vidéo.

Pourquoi la durée trompe

Quatre propriétés distinguent un corpus d’annotation vidéo d’un corpus d’images. La redondance est extrême, deux images consécutives portant presque la même information. La diversité ne croît pas avec la durée, une heure sur une même scène apportant moins qu’une minute sur soixante scènes différentes. Le volume de stockage croît, lui, proportionnellement à la durée. Et le coût d’annotation suit le nombre d’objets plutôt que la durée. Une conséquence pratique importante en découle. Ces quatre propriétés font qu’un corpus de plusieurs centaines d’heures peut couvrir moins de situations qu’un corpus de quelques heures bien choisies, ce qui déplace l’enjeu d’un projet d’annotation vidéo de la collecte vers la sélection.

Les dimensions à couvrir

Six axes définissent la couverture d’un corpus d’annotation vidéo. Ils se multiplient entre eux. Les conditions d’éclairement, du plein jour à la nuit en passant par les transitions. La météo, dont les effets diffèrent selon le capteur. Les configurations de scène, densité, agencement et type de lieu. Les classes d’objets, y compris celles qui sont rares. Les comportements et dynamiques, un objet immobile et un objet rapide n’étant pas le même problème. Et les conditions techniques, matériel, cadence et compression. Une observation importante en découle. Ces six axes se multiplient plutôt qu’ils ne s’additionnent, ce qui explique qu’un corpus paraissant volumineux couvre en réalité une fraction des combinaisons, et rend le comptage des contextes plus informatif que celui des heures.

Sélectionner plutôt que collecter

Quatre stratégies de sélection s’appliquent. Leur efficacité diffère nettement. Le tirage aléatoire, qui reflète la distribution réelle et sur-représente le banal. La sélection par événement, qui retient les séquences contenant ce qui intéresse. La sélection par incertitude, qui retient ce qu’un modèle existant ne maîtrise pas. Et la sélection par couverture, qui complète les combinaisons manquantes du plan. Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. Ces quatre stratégies se combinent plutôt qu’elles ne se remplacent, la première fournissant une base représentative et les trois autres l’enrichissant sur ce qui compte.

Le découpage en séquences

Cette décision structure le corpus. Elle est rarement examinée en annotation vidéo. Une vidéo continue doit être découpée en unités exploitables. Quatre critères orientent ce découpage en annotation vidéo. La durée, une séquence trop longue empêchant le travail parallèle et une séquence trop courte fragmentant les pistes. Les frontières naturelles, changements de plan ou d’action fournissant des points de coupe sans conséquence. L’homogénéité de conditions, une séquence traversant une transition jour et nuit mélangeant deux contextes. Et l’autonomie de compréhension, une séquence devant contenir assez de contexte pour être annotable seule. Une observation importante en découle. Le deuxième critère est le plus efficace et le moins appliqué, couper à un changement de plan supprimant par construction le problème des pistes traversant une frontière de tâche.

La séparation entraînement et évaluation

Une règle gouverne cette séparation. Son non-respect produit des chiffres flatteurs et faux. Deux images de la même séquence partagent trop de contexte pour se répartir de part et d’autre. Quatre niveaux de séparation existent et leur exigence croît. Par image, inaccessible en vidéo puisque des images voisines sont presque identiques. Par séquence, minimum acceptable et encore insuffisant lorsque plusieurs séquences proviennent de la même scène. Par scène ou par site, correct pour la plupart des usages. Et par campagne ou par période, le plus exigeant, qui mesure ce que le système fera sur des données nouvelles. Une conséquence pratique importante en découle. Le premier niveau est encore pratiqué et il produit une performance qui n’a aucun sens, deux images voisines réparties entre entraînement et évaluation revenant à évaluer sur des données d’entraînement.

Les métadonnées à enregistrer

Six informations conditionnent l’exploitation du corpus. Elles coûtent quelques champs à la saisie. La date et l’heure, qui permettent de reconstituer les conditions. Le site ou la caméra, indispensable à une séparation correcte. Les paramètres d’acquisition, matériel, cadence, résolution et compression. Les conditions observées, météo et éclairement. La référence à la séquence source et la position temporelle dans celle-ci. Et le traitement subi, anonymisation et extraction notamment. Une observation en découle pour un projet d’annotation vidéo. La deuxième métadonnée est celle dont l’absence est la plus dommageable, sans identifiant de site il devient impossible de garantir une séparation correcte, ce qui rend toute performance annoncée invérifiable.

L’échantillonnage d’images

Une seconde décision de granularité accompagne le découpage en séquences. Toutes les images d’une séquence retenue ne sont pas nécessairement conservées. Trois régimes d’échantillonnage se rencontrent. La conservation intégrale, qui préserve la continuité et convient au suivi. L’échantillonnage régulier, qui réduit le volume et rompt la continuité au delà d’un certain pas. Et l’extraction ciblée, qui retient les images entourant un événement et jette le reste. Une conséquence pratique importante en découle pour un projet d’annotation vidéo. Le deuxième régime est incompatible avec le suivi d’identité au delà d’un pas modeste, ce qui impose de trancher entre la réduction de volume et la conservation de la continuité plutôt que d’espérer les deux.

Le dimensionnement

Quatre facteurs déterminent le volume nécessaire, et ils ne se réduisent pas à une durée. Le nombre de contextes à couvrir, produit des six axes retenus. Le nombre d’objets par classe et par contexte, base réelle du dimensionnement. La variabilité interne de chaque classe, qui détermine combien d’exemples sont nécessaires. Et la difficulté de la tâche, une distinction fine exigeant plus d’exemples qu’une distinction évidente. Une conséquence pratique s’ensuit. Le volume se raisonne en objets par classe et par contexte plutôt qu’en heures, une heure de scène vide et une minute de scène dense ne comparant pas, ce qui rend le comptage sur un échantillon indispensable à tout dimensionnement sérieux.

Les classes rares

Cette difficulté domine la constitution d’un corpus d’annotation vidéo. Elle se traite en amont. Un événement rare ne se rencontre pas par échantillonnage aléatoire. Trois méthodes permettent de les récupérer. La recherche dans les archives à partir de signalements, qui suppose un accès aux registres d’incidents. La sollicitation d’un modèle existant, dont les détections à faible score localisent des candidats. Et la mise en scène délibérée, praticable dans certains contextes industriels et impossible ailleurs. Une observation importante en découle. La disponibilité de ces trois méthodes conditionne la faisabilité du projet et elle se vérifie avant tout engagement, l’absence des trois signifiant que les exemples positifs ne seront pas réunis.

La constitution progressive

Une organisation en lots vaut mieux qu’une acquisition massive et elle mérite d’être défendue. Un corpus construit d’un bloc fige des conventions avant qu’elles soient éprouvées. Quatre avantages accompagnent l’approche progressive en annotation vidéo. Les conventions se corrigent entre deux lots plutôt qu’après l’ensemble. La cadence et le coût se mesurent tôt et se projettent. Un premier modèle permet de pré-annoter les lots suivants. Et les lacunes révélées par ce modèle orientent le contenu du lot suivant. Une conséquence pratique en découle pour un projet d’annotation vidéo. Le quatrième avantage est le plus important, il transforme la constitution en boucle plutôt qu’en ligne droite et concentre l’effort sur ce qui manque réellement.

Ce qu’il ne faut pas faire

Quatre pratiques dégradent un corpus d’annotation vidéo. Elles paraissent pourtant raisonnables. Écarter les séquences de mauvaise qualité, qui seront présentes en production. Sur-échantillonner une scène disponible plutôt que d’en chercher de nouvelles, ce qui gonfle le volume sans ajouter de diversité. Découper à intervalle fixe sans tenir compte des frontières naturelles. Et conserver uniquement les images annotées en supprimant la séquence source, ce qui interdit toute réexploitation. Une observation en découle. La deuxième pratique est la plus fréquente, une scène accessible produisant facilement des heures de contenu dont l’apport marginal décroît rapidement.

Ce que la documentation doit contenir

Six éléments accompagnent une livraison d’annotation vidéo. Leur absence limite la réutilisation. Le plan d’échantillonnage effectivement réalisé. Le tableau des effectifs par classe et par contexte. Les conventions d’annotation, avec la cadence et la politique d’occlusion. Le critère de séparation retenu entre entraînement et évaluation. Le rapport de qualité. Et la liste des contextes non couverts, qui borne explicitement le domaine d’emploi. Une conséquence pratique importante en découle. Le dernier élément est le plus rare et le plus utile, déclarer ce que le corpus ne couvre pas transformant une limite invisible en limite connue.

Aborder la constitution d’un corpus vidéo

Cinq questions cadrent cette phase d’un projet d’annotation vidéo. Elles se posent avant toute acquisition. Combien de contextes distincts le périmètre comporte-t-il. Ce produit détermine la couverture nécessaire. Les classes rares sont-elles accessibles. Leur absence rend le projet infaisable en l’état. Quel critère de séparation sera retenu. Cette réponse conditionne la validité de toute mesure. L’identifiant de site sera-t-il enregistré. Son absence interdit une séparation correcte. Et la constitution se fera-t-elle par lots. Une acquisition massive fige des conventions non éprouvées. Ces cinq réponses déterminent le volume et la validité du résultat. Les poser avant de collecter évite un corpus volumineux et pauvre en diversité.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen. La valeur d’un corpus vidéo tient à sa diversité et non à sa quantité. Trois constats la composent. La redondance temporelle rend la durée sans rapport avec l’information contenue, propriété qui n’a pas d’équivalent en annotation d’images. La sélection pèse davantage sur la valeur que la production, ce qui déplace l’enjeu vers la conception. Et la séparation entre entraînement et évaluation exige un critère plus strict qu’en images, deux séquences d’une même scène partageant trop de contexte. Ce constat rejoint celui que les séries précédentes ont établi dans d’autres domaines : ce qui détermine la valeur d’un corpus est ce qu’il couvre délibérément, et cette couverture se conçoit avant l’acquisition plutôt qu’elle ne se constate après.

Les erreurs les plus fréquentes

• Dimensionner un corpus en heures plutôt qu’en contextes et en objets.
• Sur-échantillonner une scène accessible au lieu d’en chercher de nouvelles.
• Séparer entraînement et évaluation par image plutôt que par scène.
• Omettre l’identifiant de site dans les métadonnées.
• Découper à intervalle fixe sans tenir compte des changements de plan.
• Écarter les séquences dégradées qui seront présentes en production.
• Supprimer la séquence source après extraction des images annotées.
• Attendre les classes rares au lieu de les rechercher délibérément.
• Acquérir massivement avant d’avoir éprouvé les conventions.
• Livrer sans la liste des contextes non couverts.

Exploiter un fonds existant

Une situation fréquente mérite d’être traitée, un client disposant souvent de séquences accumulées avant tout projet. Ces heures ont une valeur réelle et souvent inférieure à celle qu’on leur prête. Quatre vérifications établissent ce que ces séquences permettent. La couverture des contextes, exercice qui révèle presque toujours une concentration sur quelques scènes. La présence de métadonnées, dont l’absence limite fortement l’exploitation. L’homogénéité d’acquisition, un fonds constitué sur plusieurs années mélangeant des matériels et des réglages incompatibles. Et la représentativité, un fonds constitué lors de démonstrations présentant systématiquement de bonnes conditions. Une conséquence pratique en découle pour un projet d’annotation vidéo. La première vérification produit le constat le plus fréquent, des centaines d’heures provenant de trois caméras couvrant moins de contextes qu’une journée d’acquisition planifiée sur dix sites.

Le corpus d’évaluation, à part

Une distinction mérite d’être posée car ces deux corpus n’obéissent pas aux mêmes règles. Le corpus d’entraînement doit couvrir ce que le système rencontrera, le corpus d’évaluation doit mesurer ce qu’il vaut. Quatre différences en découlent en vidéo. L’évaluation demande un volume bien inférieur, quelques séquences suffisant à mesurer. Elle demande une annotation exhaustive, une cadence réduite ou une interpolation faussant la mesure. Elle doit couvrir séparément les conditions ordinaires et les conditions difficiles, un jeu unique ne mesurant ni l’une ni l’autre. Et elle doit rester stable dans le temps pour permettre de comparer deux versions. Une observation importante en découle pour un projet d’annotation vidéo. La deuxième différence est propre à ce domaine, un jeu d’évaluation contenant des positions interpolées mesurant la conformité à un calcul plutôt qu’à la réalité, ce qui invalide silencieusement toute comparaison.

L’organisation d’une campagne d’acquisition

Cinq décisions logistiques conditionnent la réussite et elles se préparent avant la sortie. Le repérage des sites, en s’assurant qu’ils couvrent les contextes visés et que l’accès est autorisé. Le calendrier, calé sur les conditions à couvrir plutôt que sur les disponibilités, avec plusieurs passages aux mêmes endroits. Le protocole d’acquisition, hauteur, angle, réglages et cadence, consigné pour être reproductible. Le relevé des métadonnées, organisé pour être renseigné pendant l’acquisition et non reconstitué après. Et le contrôle des séquences le jour même, une exposition inadaptée ou un défaut d’enregistrement se corrigeant tant qu’on est sur place. Une conséquence pratique importante en découle pour un projet d’annotation vidéo. Le dernier point est le plus rentable, une sortie perdue faute de contrôle immédiat imposant un retour dont le coût dépasse largement celui d’une vérification sur place.

Ce que le stockage impose

Quatre contraintes spécifiques pèsent sur l’organisation d’un corpus d’annotation vidéo. Le volume des sources, plusieurs ordres de grandeur au dessus d’un corpus d’images à couverture équivalente. Le choix entre séquences et images extraites, la seconde forme multipliant le volume et garantissant la correspondance exacte des numéros. Le transfert, dont la durée devient une contrainte de planning plutôt qu’un détail technique. Et la conservation des sources après livraison, sans laquelle aucune réexploitation n’est possible. Une observation en découle pour un projet d’annotation vidéo. La dernière contrainte entre en tension avec les durées de conservation applicables aux données personnelles, ce qui impose d’arbitrer explicitement entre la valeur d’un corpus réexploitable et une obligation de suppression.

Le lot pilote comme test du plan

Quatre vérifications s’appliquent au premier lot et elles portent sur le plan plutôt que sur le corpus. La densité d’objets par type de scène, qui remplace l’estimation de volume par une mesure. La faisabilité du découpage retenu, une séquence trop longue ou trop courte se corrigeant à ce stade. La couverture réelle d’une sortie, souvent inférieure à celle qui était prévue. Et la complétude des métadonnées, un champ oublié à l’acquisition ne se rattrapant pas. Une observation en découle pour un projet d’annotation vidéo. La troisième vérification produit le constat le plus utile, une journée d’acquisition couvrant en pratique moins de contextes que le plan ne le supposait, ce qui permet de corriger le calendrier avant de l’avoir consommé.

Le tableau de couverture

Un document simple pilote cette dimension et il tient sur une page. Il croise les contextes visés avec ce qui a été effectivement acquis. Quatre colonnes composent ce tableau. Le contexte, exprimé en catégories observables plutôt qu’en valeurs continues. Le nombre de séquences acquises pour ce contexte. Le nombre d’objets annotés qui en proviennent, plus informatif que la durée. Et la performance mesurée sur ce contexte, renseignée après la première évaluation. Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. Ce tableau se tient dès la première sortie et il révèle les lacunes pendant qu’il est encore possible de les combler, alors qu’une revue en fin de campagne les révèle une fois le budget consommé.

Ce que le corpus vaudra ensuite

Quatre propriétés déterminent si un corpus vidéo se comporte comme un actif. La conservation des séquences sources, une annotation séparée de sa vidéo perdant toute valeur. La documentation des conventions, cadence et politique d’occlusion notamment, sans lesquelles il n’est pas combinable avec un autre. La complétude des métadonnées, qui permet de sélectionner un sous-ensemble par condition plutôt que de tout reprendre. Et le respect des durées de conservation applicables, qui conditionne le droit de le garder. Une observation en découle. Les trois premières propriétés coûtent peu au moment de la constitution et ne s’ajoutent pas après, la quatrième relevant d’un arbitrage qui doit être posé au même moment.

La question qui cadre la collecte

Une question remplace le débat sur le volume et elle se pose en une phrase. Combien de situations distinctes le système rencontrera-t-il en production. Une réponse en dizaines de contextes conduit à une campagne planifiée sur plusieurs sites et plusieurs moments, la durée totale important peu. Une réponse limitée à quelques configurations stables conduit à un corpus modeste et à un effort porté sur la couverture des conditions plutôt que des scènes. Cette question porte sur le déploiement et non sur la collecte, elle se pose à l’utilisateur final plutôt qu’au donneur d’ordre technique, et elle produit un plan là où une discussion sur les heures produit un chiffre sans fondement.

Trois décisions avant la première acquisition

Trois décisions déterminent la validité d’un corpus et elles ne se rattrapent pas. Établir la liste des contextes à couvrir, qui remplace un objectif en heures par un objectif en diversité. Fixer le critère de séparation entre entraînement et évaluation, scène ou site plutôt qu’image. Et arrêter les métadonnées à enregistrer, identifiant de site en premier lieu. Ces trois décisions coûtent une réunion, elles précèdent la première sortie, et leur absence produit un corpus dont la performance annoncée ne pourra pas être vérifiée.

Ce qu’il faut retenir

La durée d’un corpus vidéo ne détermine pas sa valeur, le nombre de contextes couverts la déterminant et n’ayant presque aucun rapport avec elle. Trois lectures se dégagent. Les six axes de couverture se multiplient plutôt qu’ils ne s’additionnent, ce qui explique qu’un corpus volumineux couvre une fraction des combinaisons et rend le comptage des contextes plus informatif que celui des heures. Le découpage aux frontières naturelles, changements de plan notamment, supprime par construction le problème des pistes traversant une limite de tâche. Et la séparation entre entraînement et évaluation doit porter au minimum sur la scène, une séparation par image revenant en vidéo à évaluer sur des données d’entraînement. Pour la vue prospective de ce domaine, l’article consacré aux tendances de la vision vidéo examine les évolutions. Pour la méthode qui exploite ce corpus à moindre coût, l’article sur l’annotation semi-automatique détaille les options. Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous devez concevoir un corpus vidéo, échangeons sur votre projet.