Les outils d’annotation vidéo – CVAT et alternatives

Le choix d’un outil vidéo pèse davantage sur un projet que le choix d’un outil d’images. La cadence de travail, la faisabilité du suivi et la détectabilité des erreurs dépendent de fonctions que tous les outils ne fournissent pas, et l’écart se mesure en facteurs plutôt qu’en pourcentages. Cet article expose ce qu’un outil doit permettre et comment arbitrer. Il prolonge l’article consacré au coût de l’annotation vidéo.

Ce qu’un outil vidéo doit fournir

Six fonctions distinguent un outil d’annotation vidéo d’un outil d’images adapté. La navigation temporelle fine, image par image dans les deux sens, indispensable pour trancher un croisement ou une frontière. La persistance d’identité, un objet conservant son identifiant d’une image à l’autre sans réattribution manuelle. L’interpolation entre images clés, avec placement et suppression de ces images à volonté. La visualisation en piste, montrant l’existence de chaque objet sur une ligne de temps. La lecture en boucle d’un segment, qui permet de juger une transition par comparaison. Et le préchargement des images, sans lequel la navigation devient inutilisable sur une séquence longue. Une conséquence pratique importante en découle. L’absence de l’une de ces six fonctions ne ralentit pas le travail d’annotation vidéo, elle rend certaines tâches impraticables, ce qui rend cette liste éliminatoire plutôt qu’indicative.

Ce que la fluidité change

Cette propriété non fonctionnelle domine l’expérience réelle. Elle n’apparaît pourtant dans aucun comparatif. Un annotateur navigue des milliers de fois par jour entre les images. Trois conséquences concrètes en découlent. Un délai d’une seconde par navigation représente des heures perdues sur un projet, coût invisible dans une démonstration sur une séquence courte. La latence décourage la vérification, un annotateur cessant de revenir en arrière lorsque l’opération coûte trop cher. Et la fatigue s’installe plus vite, ce qui dégrade la qualité en fin de session. Une observation importante en découle. Cette propriété se teste uniquement sur une séquence longue et représentative, ce qui rend une démonstration sur un extrait court peu informative en annotation vidéo.

Les familles d’outils

Quatre catégories se rencontrent en annotation vidéo. Leur économie diffère nettement. Les plateformes libres auto-hébergées, dont CVAT est la plus répandue, qui offrent un contrôle complet et supposent une compétence d’exploitation. Les plateformes commerciales en ligne, qui suppriment la charge d’exploitation et placent les données chez un tiers. Les outils intégrés à une offre de service, où l’outil accompagne une prestation d’annotation plutôt qu’il ne se vend seul. Et les développements spécifiques, justifiés par une tâche que rien ne couvre et rarement rentables autrement. Une conséquence pratique s’ensuit. La première et la deuxième catégorie s’opposent principalement sur la question du lieu de traitement, arbitrage juridique et organisationnel plutôt que fonctionnel.

Ce que l’auto-hébergement apporte

Quatre bénéfices justifient cette configuration. Ils sont décisifs dans certains contextes. La maîtrise du lieu de traitement, exigence dirimante lorsque les séquences contiennent des personnes identifiables ou des données industrielles sensibles. L’absence de transfert vers un tiers, qui supprime une surface de risque et une clause à négocier. La maîtrise des accès, chaque consultation étant journalisée sur une infrastructure contrôlée. Et l’indépendance vis-à-vis d’un fournisseur, un changement de tarification ou d’orientation produit n’affectant pas un projet en cours. Trois charges l’accompagnent. L’exploitation de l’infrastructure, montée en charge et disponibilité incluses. Les mises à jour et leur validation, qui ne se délèguent pas. Et le dimensionnement, une plateforme vidéo demandant du stockage rapide et de la bande passante interne.

Ce que CVAT apporte et ce qu’il demande

Une plateforme domine l’usage libre et il vaut la peine d’en exposer le profil réel. Quatre atouts la caractérisent en annotation vidéo. La couverture fonctionnelle vidéo, interpolation, pistes et navigation temporelle étant natives plutôt qu’ajoutées. La diversité des géométries, boîtes, polygones, points et cuboïdes coexistant dans un même projet. Les fonctions collectives, affectation, validation et journaux étant intégrées. Et l’export vers de nombreux formats, ce qui évite un développement de conversion. Quatre exigences l’accompagnent. Le dimensionnement de l’infrastructure, une plateforme vidéo consommant du stockage rapide et de la mémoire. La compétence d’exploitation, montée de version et sauvegarde incluses. L’intégration à un annuaire pour la gestion des accès sur une équipe conséquente. Et le paramétrage initial des projets, dont la structure conditionne la cohérence des exports. Une observation en découle pour un projet d’annotation vidéo. Ces quatre exigences constituent un coût d’entrée réel et un coût marginal faible, ce qui rend cette configuration économique à partir d’un certain volume et inadaptée à un projet isolé de courte durée.

Ce que le format d’export détermine

Quatre décisions engagent l’exploitation d’un corpus d’annotation vidéo. Elles se vérifient avant de choisir un outil. La représentation des identités, sans laquelle un corpus de suivi n’est pas exploitable. La distinction entre position observée et position interpolée, information que peu de formats portent nativement. La représentation des attributs variables, un attribut changeant au cours d’une piste ne se stockant pas comme un attribut constant. Et la conservation du lien vers la source, horodatage et référence de séquence. Une observation importante en découle pour un projet d’annotation vidéo. La deuxième décision est celle dont l’absence produit le défaut le plus grave, un corpus livré sans elle ne permettant pas de constituer un jeu d’évaluation valide, ce qui invalide silencieusement toute comparaison de modèles.

Les fonctions d’assistance

Trois niveaux se rencontrent. Leur intérêt dépend du projet d’annotation vidéo. L’interpolation géométrique, disponible partout et suffisante pour la majorité des besoins. Le suivi assisté par modèle, qui propose des pistes que l’annotateur corrige et dont la qualité varie fortement selon le contenu. Et la pré-annotation par un modèle du client, fonction plus rare qui suppose une intégration et qui produit le meilleur gain dès qu’un premier modèle existe. Une conséquence pratique en découle. Le troisième niveau est le plus déterminant sur un projet durable et le moins présent dans les comparatifs, ce qui en fait un critère à vérifier explicitement plutôt qu’à supposer.

Ce qui compte pour une équipe

Cinq fonctions concernent l’organisation d’une équipe d’annotation vidéo plutôt que le travail lui-même. La répartition des tâches, qui permet d’affecter des séquences à des annotateurs et de suivre l’avancement. Le circuit de validation, qui distingue un lot annoté d’un lot vérifié. La gestion des versions, sans laquelle une correction écrase l’état antérieur sans trace. Les journaux d’activité, qui fournissent la cadence réelle et la traçabilité. Et la gestion des droits, qui restreint l’accès aux séquences sensibles. Une observation en découle pour un projet d’annotation vidéo. La quatrième fonction est la plus sous-estimée, les journaux fournissant les données de cadence qui alimentent tout chiffrage ultérieur et qui ne se reconstituent pas après coup.

Évaluer un outil avant de s’engager

Cinq épreuves suffisent. Elles occupent une journée. Charger une séquence longue et représentative, plutôt qu’un extrait fourni par l’éditeur. Mesurer le temps de navigation entre deux images éloignées. Annoter une piste complète avec occlusion et vérifier que l’identité se maintient. Exporter et relire le fichier produit, en vérifiant la présence des quatre informations exposées plus haut. Et faire manipuler l’outil par un annotateur pendant une session complète, plutôt que de le juger sur une démonstration. Une conséquence pratique importante en découle. La cinquième épreuve révèle des difficultés qu’aucune liste de fonctions ne montre, et elle coûte une journée là où un mauvais choix coûte un projet.

Ce que le format vidéo impose

Quatre contraintes techniques précèdent le choix de l’outil. Le codec, certains outils décodant mal certains formats et produisant des décalages d’image. La cadence variable, présente dans de nombreux fichiers et source de désynchronisation entre l’annotation et la source. La compression, dont les artefacts dégradent la lisibilité des petits objets. Et l’extraction préalable en images, qui supprime ces trois difficultés au prix d’un volume de stockage supérieur. Une observation importante en découle. La dernière option est la plus fiable et la plus employée en production, un travail sur images extraites garantissant une correspondance exacte entre le numéro annoté et le contenu, correspondance qu’un décodage à la volée ne garantit pas.

Ce qu’un outil ne résout pas

Quatre difficultés persistent quel que soit l’outillage d’annotation vidéo. Les conventions, qu’aucune fonction ne remplace et dont l’absence produit une incohérence que l’outil ne détecte pas. Les cas indécidables, une occlusion prolongée restant indécidable avec le meilleur outil. La formation des annotateurs, un outil puissant employé sans méthode produisant un travail rapide et incohérent. Et le choix du périmètre, cadence et attributs relevant du cadrage et non de l’outillage. Cette troisième difficulté mérite d’être soulignée. Elle signifie qu’un changement d’outil ne corrige pas un problème de qualité dont l’origine est méthodologique, substitution fréquente et coûteuse.

Aborder le choix d’un outil

Cinq questions cadrent le choix d’un outil d’annotation vidéo. Les données peuvent-elles quitter l’infrastructure du client. Cette réponse tranche entre auto-hébergé et hébergé. Le suivi d’identité fait-il partie du périmètre. Une réponse positive rend six fonctions éliminatoires. Un modèle de pré-annotation existe-t-il ou existera-t-il. Cette réponse détermine le besoin d’intégration. Quel volume et quelle durée par séquence. Cette réponse détermine les exigences de performance. Et quelle équipe travaillera dessus. Cette réponse détermine le besoin de fonctions collectives. Ces cinq réponses réduisent le choix à quelques candidats. Les poser avant de comparer évite une sélection fondée sur des fonctions qu’aucun projet n’utilisera.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen. L’outil détermine ce qui est faisable et non ce qui est bon. Trois constats la composent. L’absence de certaines fonctions rend des tâches impraticables plutôt que lentes, ce qui fait de leur vérification un préalable et non un critère de confort. La fluidité pèse davantage sur la cadence réelle que la richesse fonctionnelle, et elle ne se mesure que sur une séquence longue. Et aucune fonction ne remplace une convention, un outil parfait produisant un corpus incohérent si les règles n’ont pas été écrites. Ce constat rejoint celui que les séries précédentes ont établi à propos des outils d’assistance : ils déplacent le point de départ sans déplacer le facteur limitant, qui reste la définition documentée de ce qu’on annote.

Les erreurs les plus fréquentes

• Juger un outil sur une démonstration avec un extrait court.
• Choisir sans avoir vérifié le contenu du fichier exporté.
• Négliger la distinction entre position observée et position interpolée à l’export.
• Ignorer la question du lieu de traitement sur des séquences contenant des personnes.
• Travailler sur un fichier à cadence variable sans extraction préalable.
• Sélectionner un outil sur des fonctions que le projet n’utilisera pas.
• Omettre les journaux d’activité, seule source de cadence réelle.
• Attendre d’un changement d’outil qu’il corrige un problème de convention.
• Ne pas faire tester l’outil par un annotateur avant de s’engager.
• Sous-dimensionner le stockage et la bande passante d’une plateforme auto-hébergée.

Combiner plusieurs outils

Un montage se rencontre fréquemment et il mérite d’être exposé. Une chaîne complète associe plusieurs composants plutôt qu’un outil unique. Quatre étapes s’y distinguent nettement. La préparation, extraction d’images et anonymisation, réalisée par des scripts en amont de toute plateforme. L’annotation, sur la plateforme retenue. Le contrôle automatique, exécuté sur les exports par des scripts plutôt que dans l’outil. Et la conversion vers le format attendu par le client, opération souvent spécifique. Une conséquence pratique importante en découle. Le troisième composant est le plus rentable et le moins souvent présent nativement, les contrôles de cohérence temporelle exposés dans les articles précédents se programmant en dehors de l’outil et s’appliquant à tous les lots.

Le dimensionnement d’une plateforme vidéo

Quatre ressources conditionnent la fluidité d’une plateforme d’annotation vidéo. Leur sous-estimation produit l’essentiel des déceptions. Le stockage rapide, une navigation fluide supposant un accès aux images bien plus véloce qu’un stockage d’archive. La bande passante interne, plusieurs annotateurs chargeant simultanément des séquences saturant un réseau ordinaire. La mémoire, le préchargement d’un voisinage d’images en consommant proportionnellement à la résolution. Et le calcul, requis uniquement lorsque des fonctions de suivi assisté sont activées. Une observation importante en découle pour un projet d’annotation vidéo. Les deux premières ressources déterminent l’expérience quotidienne et elles sont fréquemment dimensionnées comme pour un projet d’images, ce qui produit une plateforme fonctionnelle en démonstration et pénible en production.

Le paramétrage d’un projet

Cinq décisions de configuration précèdent la première annotation et elles se corrigent mal ensuite. La structure des classes et des attributs, dont une modification en cours de projet invalide une part des lots déjà produits. Le découpage en tâches, une séquence trop longue empêchant le travail parallèle et une séquence trop courte fragmentant les pistes. Le régime d’interpolation par défaut, activé ou non selon la géométrie retenue. Les droits d’accès, différenciés entre annotation, validation et administration. Et le format d’export cible, dont la vérification précoce évite de découvrir une incompatibilité à la livraison. Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. Le deuxième point mérite une attention particulière en vidéo, un découpage qui coupe une piste au milieu produisant deux identités là où le corpus en attendait une, défaut structurel que l’outil ne signale pas.

Ce que l’outil doit permettre de mesurer

Quatre données conditionnent le pilotage d’un projet d’annotation vidéo. Elles doivent être extractibles. Le temps passé par tâche, base de toute mesure de cadence et de tout chiffrage ultérieur. Le nombre d’objets et d’images clés produits, qui rapporté au temps donne la productivité réelle. L’historique des modifications, qui distingue une correction d’une production initiale. Et le taux de rejet en validation, qui mesure la qualité amont plutôt que la qualité finale. Une observation en découle. La quatrième donnée est la plus utile au pilotage et la moins souvent exploitée, un taux de rejet croissant signalant une dérive avant que le corpus livré ne la révèle, ce qui permet de corriger pendant plutôt qu’après.

Quand un développement spécifique se justifie

Trois situations rendent un développement rentable et elles sont plus rares qu’on ne le suppose. Une géométrie qu’aucun outil ne propose, une représentation métier particulière ne se ramenant à aucune primitive existante. Une contrainte d’intégration forte, l’annotation devant s’insérer dans un flux applicatif existant plutôt que constituer une étape séparée. Et un volume récurrent considérable, où un gain de cadence de quelques pourcents amortit un développement. Trois signaux indiquent au contraire qu’il ne se justifie pas. Le besoin exprimé se ramène à une fonction existante sous un autre nom. La motivation est l’insatisfaction envers l’ergonomie d’un outil plutôt qu’une impossibilité fonctionnelle. Et le projet est unique, un développement ne s’amortissant que sur une répétition. Une observation en découle pour un projet d’annotation vidéo. Le deuxième signal est le plus fréquent, une gêne ergonomique paraissant justifier un développement alors qu’elle se traite par un paramétrage ou par une formation.

La formation à l’outil

Cinq compétences distinguent un annotateur formé et elles ne s’acquièrent pas par l’usage seul. Le placement des images clés aux points de rupture plutôt qu’à intervalle régulier. La correction par ajout d’une image clé plutôt que par reprise manuelle d’un segment. L’usage des raccourcis de navigation, qui multiplie la cadence sur une tâche répétée des milliers de fois. Le recours à la lecture en boucle pour trancher une frontière plutôt qu’un jugement sur une vue unique. Et le signalement d’un cas non couvert plutôt qu’une décision arbitraire. Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. Ces cinq compétences s’enseignent en une demi-journée et elles produisent un écart de cadence supérieur à celui qui sépare deux outils, ce qui rend la formation plus rentable qu’un changement de plateforme.

Migrer d’un outil à un autre

Quatre difficultés accompagnent un changement en cours de projet et elles justifient de bien choisir au départ. La conversion des annotations existantes, dont certaines informations n’ont pas d’équivalent dans le format cible. La perte des historiques, journaux et versions ne se migrant généralement pas. La reprise de la formation, les raccourcis et les habitudes acquis étant spécifiques. Et la cohabitation temporaire, deux outils produisant des exports à harmoniser pendant la transition. Une observation en découle. La première difficulté est la plus contraignante, un attribut ou une convention de piste sans équivalent obligeant soit à le perdre soit à développer une conversion spécifique, ce qui rend une migration plus coûteuse qu’un choix initial mieux instruit.

La question qui tranche le choix

Une question réduit le champ des candidats plus vite que toute grille comparative. Les séquences peuvent-elles quitter l’infrastructure du client. Une réponse négative écarte l’ensemble des plateformes hébergées et impose une configuration auto-hébergée avec la compétence d’exploitation correspondante. Une réponse positive ouvre le champ et déplace l’arbitrage vers les fonctions, le coût et la fluidité. Cette question relève du droit et de la politique interne du client plutôt que de la technique, et elle se pose avant toute démonstration puisqu’elle rend inutile l’évaluation d’une part des candidats.

Trois vérifications avant de signer

Trois épreuves suffisent à écarter la plupart des mauvais choix et elles se conduisent en une journée. Charger une séquence de plusieurs minutes issue du projet réel et naviguer d’un bout à l’autre en mesurant le délai. Annoter une piste traversant une occlusion et vérifier que l’identité se maintient sans intervention manuelle. Exporter et ouvrir le fichier, en cherchant explicitement la distinction entre position observée et position calculée. Ces trois épreuves portent sur ce qui rend un outil utilisable plutôt que sur ce qui figure dans une fiche produit, et un outil qui les passe convient à la grande majorité des projets.

Ce qu’il faut retenir

Un outil vidéo se distingue d’un outil d’images par six fonctions dont l’absence rend certaines tâches impraticables plutôt que lentes. Trois lectures se dégagent. La fluidité de navigation pèse davantage sur la cadence réelle que la richesse fonctionnelle, et elle ne se mesure que sur une séquence longue et représentative, ce qui rend une démonstration sur un extrait court peu informative. Le format d’export doit distinguer position observée et position interpolée, information que peu de formats portent nativement et dont l’absence empêche de constituer un jeu d’évaluation valide. Et l’arbitrage entre plateforme auto-hébergée et plateforme en ligne porte principalement sur le lieu de traitement, question juridique et organisationnelle plutôt que fonctionnelle. Pour ce que l’outillage permet de contrôler, l’article consacré au contrôle qualité en annotation vidéo détaille les dispositifs. Pour les difficultés qu’aucun outil ne résout, l’article sur les occlusions et la ré-identification les expose. Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous souhaitez faire évaluer une chaîne d’annotation vidéo, échangeons sur votre projet.