Vidéo et suivi d’identités

Annoter une vidéo, c’est annoter des images qui se ressemblent. La difficulté ne vient pas du nombre de boîtes à tracer mais d’une information qu’aucune image ne contient : savoir que l’objet vu maintenant est celui qu’on voyait déjà.Cet article expose ce travail. Il prolonge l’article consacré aux formats de fichier.

Ce que la vidéo ajoute

Cinq exigences distinguent une séquence d’un ensemble d’images.Chaque objet porte une identité constante d’une image à la suivante.Cette identité doit survivre à une disparition temporaire.La boîte doit rester stable là où l’objet ne bouge pas.L’apparition comme la sortie d’un objet se marquent explicitement.Et la cohérence se juge sur la séquence plutôt que sur l’image.Une conséquence pratique importante en découle. La première exigence porte à elle seule l’essentiel du travail en bounding box, une identité étant une information purement relationnelle qu’aucune image prise seule ne permet de vérifier.

Ce qui rompt une identité

Cinq situations font perdre le fil d’un objet suivi en bounding box.Un passage complet derrière un obstacle de la scène.Une sortie du champ suivie d’un retour plus tardif.Un croisement avec un objet semblable.Un changement brutal d’apparence ou bien d’éclairage.Et une coupure de plan introduite au montage.Une observation importante en découle pour un projet de bounding box. Le troisième cas produit l’erreur la plus coûteuse, deux objets d’apparence semblable se croisant pouvant échanger leurs identités sans que rien ne le signale, ce qui contamine toute la suite de la séquence.

Ce que la convention doit fixer

Six points rendent une consigne de suivi réellement applicable.La règle de réattribution applicable après une disparition.La durée exacte au-delà de laquelle une identité est abandonnée.Le traitement réservé à un objet dont l’identité devient douteuse.Le sort réservé aux identités lors d’une coupure de plan.La conduite à tenir sur un objet immobile et masqué.Et le marquage explicite de l’entrée comme de la sortie.Une conséquence pratique importante en découle pour un projet de bounding box. Le troisième point manque presque toujours, un opérateur incertain devant choisir entre conserver une identité fausse et en créer une nouvelle sans la moindre justification, ce qui produit deux erreurs différentes selon l’opérateur.

Ce que la mesure doit juger ici

Cinq indicateurs décrivent la qualité d’un suivi en bounding box.Le taux d’objets correctement détectés, mesuré image par image.Le nombre d’identités échangées entre deux objets distincts.Le nombre de trajectoires coupées puis reprises sous un tout autre numéro.La durée moyenne pendant laquelle une identité demeure correcte.Et la stabilité de la boîte tracée sur un objet resté immobile.Une conséquence pratique importante en découle. Le premier indicateur peut rester excellent alors que le suivi est inutilisable, chaque boîte prise à part étant correcte et les identités toutes mélangées, ce qui rend une mesure image par image insuffisante pour juger un travail de suivi.

Ce que l’interpolation permet

Quatre bénéfices découlent d’un tracé de bounding box sur images clés.Le nombre de boîtes tracées à la main chute très fortement.La trajectoire obtenue devient tout naturellement régulière.Le tremblement de la boîte disparaît entre deux clés.Et la correction se concentre sur les seuls moments de changement.Une observation en découle. Ces quatre bénéfices supposent un mouvement régulier, une trajectoire brusque ou bien un objet qui accélère produisant des positions intermédiaires entièrement fausses, ce qui appelle des images clés plus rapprochées là où le mouvement change.

Ce que la cadence d’échantillonnage décide

Cinq conséquences suivent le choix du pas entre deux images annotées.Le volume total de travail à fournir sur la séquence.La finesse du mouvement qui sera effectivement capturée.La fiabilité réelle des positions interpolées.La détection effective des événements les plus brefs.Et la comparabilité avec toute autre séquence du corpus.Une conséquence pratique s’ensuit. Le quatrième point tranche souvent le débat, un événement plus court que le pas finalement retenu pouvant passer entre deux images annotées, ce qui rend le pas dépendant de la durée du phénomène observé plutôt que du budget.

Aborder un projet vidéo

Cinq questions cadrent un projet de bounding box en vidéo.Les identités sont-elles nécessaires. Elles portent le coût.Quel pas d’échantillonnage retenir. Il suit le phénomène.Que faire après une disparition. La règle doit être écrite.Comment traiter les croisements. Ils échangent les identités.Et la mesure porte-t-elle sur la séquence. Sinon elle trompe.Ces cinq réponses déterminent la cohérence même du suivi. Les poser avant la production évite un corpus dont les trajectoires finissent par se mélanger.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen.Une identité est une information qu’aucune image ne contient.Trois constats la composent.Deux objets semblables qui se croisent peuvent échanger leurs identités sans signal.Un opérateur incertain choisit entre une identité fausse et une identité inventée.Et un événement plus court que le pas d’échantillonnage passe inaperçu.Ce constat prolonge les chapitres précédents, l’objet à décrire n’étant plus dans l’image mais entre les images.

Les erreurs les plus fréquentes

• Annoter une vidéo comme une suite d’images indépendantes.
• Omettre la règle de réattribution après une disparition.
• Négliger le traitement des croisements entre objets semblables.
• Interpoler sur un mouvement brusque sans images clés rapprochées.
• Choisir le pas d’échantillonnage d’après le budget seul.
• Mesurer la qualité image par image sans juger la séquence.
• Laisser l’opérateur trancher seul une identité douteuse.
• Ignorer les coupures de plan dans la gestion des identités.
• Confondre une nouvelle identité et un objet retrouvé.
• Négliger la stabilité de la boîte sur un objet immobile.

Ce que la pré-annotation change ici

Quatre effets suivent l’emploi d’un suivi automatique.Les trajectoires simples et bien séparées se produisent alors seules.Les croisements demeurent le point de rupture le plus habituel.Une erreur d’identité se propage sur toutes les images suivantes.Et l’opérateur vérifie une continuité plutôt qu’il ne trace lui-même des boîtes.Une observation importante en découle pour un projet de bounding box. Le troisième effet change la nature du contrôle, une seule erreur d’identité corrompant des centaines d’images là où une boîte mal tracée n’en affecte qu’une seule, ce qui justifie de concentrer la relecture sur les moments de croisement plutôt que de la répartir uniformément.

Ce que le format de livraison exige ici

Quatre choix conditionnent l’exploitation d’un corpus vidéo.Un identifiant d’objet unique et constant tout au long de la séquence.Un numéro d’image explicite plutôt qu’un simple ordre implicite.Un marquage des boîtes interpolées par rapport aux boîtes tracées.Et une indication explicite des coupures de plan dans la séquence.Une conséquence pratique importante en découle pour un projet de bounding box. Le troisième choix se néglige et prive le client d’une information utile, une boîte simplement interpolée n’ayant pas la même valeur qu’une boîte vérifiée par un opérateur, ce qui permet d’écarter les positions calculées lors d’une évaluation exigeante.

Trois décisions avant de produire

Trois décisions engagent un projet de bounding box en vidéo.Décider si les identités sont vraiment nécessaires, elles portent l’essentiel du coût.Fixer le pas d’échantillonnage d’après la durée du phénomène observé.Et écrire noir sur blanc la règle applicable après une disparition temporaire.Ces trois décisions ne coûtent qu’une réunion, elles précèdent la toute première séquence, et leur absence produit des trajectoires que personne ne saura démêler.

La question qui cadre le projet

Une question détermine l’ampleur du travail en bounding box vidéo.L’usage a-t-il besoin de savoir qu’il s’agit du même objet.Un comptage instantané ou une détection d’événement se satisfait de boîtes indépendantes et ignore complètement les identités.Un comptage de passages, une mesure de durée ou une analyse de trajectoire exige des identités constantes et double au moins le coût.Cette question relève de ce que l’usage devra calculer, elle se pose avant la première séquence, et elle sépare deux projets dont le nom seul est identique.

Trois vérifications sur un corpus vidéo

Trois contrôles qualifient un suivi de bounding box déjà produit.La règle écrite de réattribution applicable après une disparition.Le nombre d’échanges d’identités effectivement relevé sur les croisements.Et la distinction faite entre boîtes tracées et boîtes interpolées.Ces trois contrôles se posent en une seule question chacun, ils ne demandent aucune compétence technique particulière, et leur absence indique un corpus dont les trajectoires n’ont jamais été vérifiées en tant que telles.

Ce que le prestataire apporte ici

Quatre apports distinguent une prestation sérieuse en vidéo.Une règle écrite couvrant les disparitions, les croisements et les coupures de plan.Un relevé du nombre d’échanges d’identités plutôt qu’un simple taux global.Une relecture délibérément concentrée sur les moments de croisement.Et une livraison distinguant clairement les boîtes tracées des boîtes calculées.Une conséquence pratique importante en découle. Le deuxième apport dit la vérité que le taux global masque, un corpus affichant une excellente détection et pourtant une dizaine d’échanges d’identités étant inutilisable pour toute analyse de trajectoire, ce qui rend ce chiffre plus révélateur que tous les autres réunis.

Ce que la cadence devient ici

Quatre facteurs déterminent le temps passé par séquence.Le nombre d’objets simultanément présents dans le champ.La fréquence des croisements ainsi que des disparitions.La régularité du mouvement, qui décide de l’interpolation utile.Et le nombre d’images clés réellement nécessaires par objet.Une observation importante en découle pour un projet de bounding box. Le deuxième facteur explique les écarts entre séquences d’apparence comparable, deux vidéos de même durée et de même densité apparente pouvant demander des temps très différents selon que les objets se croisent ou circulent séparément, ce qui rend une estimation à la minute de vidéo trompeuse.

Ce que ce chapitre laisse au suivant

Tout ce qui précède se traduit à un moment en une ligne de devis.Trois questions restent ouvertes en bounding box.Ce qui compose réellement le prix d’un objet annoté.Pourquoi deux devis comparables recouvrent des périmètres différents.Et comment estimer un volume avant d’avoir commencé.Ces trois questions relèvent du coût de l’annotation, qui constitue l’objet du chapitre suivant.

Ce que le corpus doit couvrir ici

Cinq situations méritent une place explicite dans le corpus.Des trajectoires simples et bien séparées, servant ici de référence.Des croisements entre objets d’apparence très semblable.Des disparitions suivies d’un retour dans le champ visible.Des changements marqués d’éclairage au cours d’une même trajectoire.Et des coupures de plan situées à l’intérieur d’une même séquence.Une conséquence pratique importante en découle pour un projet de bounding box. La deuxième situation manque souvent et prive le corpus de son intérêt principal, une séquence où les objets ne se croisent jamais n’éprouvant nullement le suivi, ce qui produit un corpus rassurant et un système qui échouera dès la première scène réelle.

Trois erreurs propres à la vidéo

Trois défauts de bounding box tiennent au suivi plutôt qu’au tracé.Une identité échangée lors d’un croisement puis jamais rattrapée.Une interpolation appliquée à un mouvement qui ne s’y prête nullement.Et une qualité jugée image par image alors qu’il s’agit d’un travail de séquence.Ces trois défauts laissent pourtant chaque boîte parfaitement correcte, ils se révèlent en suivant une trajectoire du début à la fin, et leur point commun est de porter sur la continuité plutôt que sur la position.

Ce que l’annotateur doit savoir ici

Cinq connaissances conditionnent un travail correct sur une séquence.La règle de réattribution après une disparition temporaire.La conduite à tenir lorsqu’un croisement rend une identité douteuse.Le moment précis où poser une image clé plutôt que de laisser interpoler.La façon de vérifier une trajectoire entière plutôt qu’une seule image.Et le réflexe de remonter en arrière dès qu’un doute apparaît.Une observation importante en découle pour un projet de bounding box. La dernière connaissance limite la portée des erreurs, un doute levé immédiatement ne coûtant que quelques secondes alors qu’une identité fausse laissée en place se propage sur toute la suite de la séquence, ce qui fait du retour en arrière une économie plutôt qu’une perte de temps.

Ce que le client doit préciser ici

Quatre informations viennent du client plutôt que du prestataire.Ce que l’usage calculera précisément à partir des trajectoires livrées.La durée du phénomène le plus bref qu’il souhaite pouvoir observer.La conduite attendue lorsqu’un objet quitte le champ puis y revient.Et la tolérance qu’il accorde éventuellement à un échange d’identités.Une conséquence pratique importante en découle pour un projet de bounding box. La deuxième information fixe le pas d’échantillonnage sans négociation possible, un phénomène durant moins que l’intervalle finalement retenu échappant purement et simplement à l’observation, ce qui transforme une question de budget en contrainte technique.

Ce que la vidéo change à l’économie du projet

Quatre effets distinguent le budget d’un projet vidéo.Le coût par image chute fortement grâce à l’interpolation.Le coût par objet suivi dépasse largement celui d’une boîte isolée.Le contrôle porte alors sur des trajectoires plutôt que sur des images.Et une reprise coûte cher puisqu’elle affecte toute une séquence.Une observation importante en découle pour un projet de bounding box. Le premier effet trompe régulièrement au moment du devis, une facturation à l’image donnant un chiffre bien attractif sur une vidéo alors que le travail réel porte sur les seules trajectoires, ce qui rend une unité de facturation mal choisie plus coûteuse qu’un tarif élevé.

Ce que l’outil de travail change ici

Cinq fonctions rendent ce travail praticable.Une navigation image par image, en avant aussi bien qu’en arrière.Un affichage de la trajectoire complète d’un objet donné.Une propagation automatique de la boîte entre deux images clés.Un signalement des identités nouvellement apparues ou disparues.Et la possibilité de fusionner ou bien de séparer deux trajectoires.Une conséquence pratique importante en découle pour un projet de bounding box. La dernière fonction évite le travail le plus décourageant, une erreur d’identité découverte tardivement se corrigeant par une simple fusion en quelques secondes alors qu’elle demanderait autrement de reprendre des centaines de boîtes une à une.

Ce que le premier lot doit établir

Quatre résultats justifient une séquence d’essai avant la production.Le nombre moyen d’objets présents simultanément dans le champ.La fréquence des croisements rapportée à la durée totale.Le nombre d’images clés qui se révèlent nécessaires par objet.Et le taux d’échanges d’identités constaté entre deux opérateurs distincts.Une observation importante en découle pour un projet de bounding box. Le deuxième résultat détermine le coût mieux que la durée totale, une séquence dense en croisements demandant plusieurs fois le temps que réclame une séquence équivalente aux trajectoires bien séparées, ce qui rend l’échantillon plus informatif que n’importe quelle description du besoin.

Ce que ce chapitre partage avec les précédents

Trois constats reviennent depuis le début du parcours.Une mesure globale peut rester excellente alors que le livrable est inutilisable.Un corpus qui n’éprouve pas la difficulté rassure à tort.Et l’aide automatique renforce ce qui marchait déjà.Une conséquence pratique importante en découle pour un projet de bounding box. Le premier constat prend ici sa forme la plus frappante, un suivi affichant un excellent taux de détection et pourtant des identités entièrement mélangées ne servant à rien du tout, ce qui montre qu’un chiffre correct ne garantit jamais qu’on a mesuré la bonne chose.

Ce que ce sujet a de particulier

Quatre traits distinguent la vidéo des autres chapitres du parcours.L’information qu’il faut produire n’existe dans aucune image prise seule.Une erreur unique se propage sur des centaines d’images.Le contrôle exige de parcourir chaque trajectoire dans son entier.Et l’unité de facturation retenue décide du sens même du devis.Une observation importante en découle pour un projet de bounding box. Le deuxième trait modifie tout l’équilibre du contrôle, une relecture partielle pouvant suffire sur des images fixes alors qu’elle laisse ici passer des trajectoires entièrement fausses, ce qui rend l’échantillonnage aléatoire nettement moins efficace qu’un contrôle ciblé sur les croisements.

Trois questions à poser avant de chiffrer

Trois questions précèdent toute estimation sur une vidéo.Les identités sont-elles réellement nécessaires à l’usage finalement prévu.Quelle est la fréquence des croisements observée sur une séquence type.Et le tarif portera-t-il sur la minute, l’image ou la trajectoire.Ces trois questions se posent bien avant le devis, elles demandent une séquence d’exemple plutôt qu’une description, et leur absence produit un chiffrage sans rapport avec le travail réel.

Ce que la révision d’une consigne impose ici

Quatre situations obligent à reprendre une règle de suivi.Une densité de croisements bien supérieure à celle qui était prévue.Un type de disparition que la consigne initiale n’envisageait tout simplement pas.Un désaccord persistant entre opérateurs quant aux réattributions.Et un changement de source vidéo venant modifier la cadence des images.Une observation importante en découle pour un projet de bounding box. La dernière situation se remarque tard et fausse tout, une cadence différente rendant le pas d’échantillonnage initialement retenu inadapté au phénomène observé, ce qui oblige à revoir un paramètre que personne ne pensait devoir rouvrir.

Ce qu’il faut retenir

Le travail porte sur le lien entre les images plutôt que sur les images.Trois lectures se dégagent. Deux objets semblables qui se croisent peuvent échanger leurs identités sans que rien ne le signale, ce qui contamine toute la suite de la séquence et rend le contrôle des croisements prioritaire. Un opérateur incertain choisit entre conserver une identité fausse et en créer une nouvelle sans justification, ce qui produit deux erreurs différentes selon l’opérateur et impose une règle explicite. Et un événement plus court que le pas d’échantillonnage passe entre deux images annotées, ce qui rend le pas dépendant de la durée du phénomène observé plutôt que du budget.Pour l’économie du projet, l’article consacré au coût de l’annotation par boîtes le chiffre. Pour la mesure de qualité, l’article sur l’IoU et les audits l’expose.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous préparez un projet de détection, échangeons sur votre besoin.