En détection d’images, le livrable est une boîte. En suivi d’objets, le livrable est une identité : le même véhicule doit porter le même numéro de la première à la dernière image où il apparaît. Cette différence change la nature du travail bien davantage que le passage d’une image fixe à une séquence.Cet article expose ce que le suivi exige, où il échoue et comment le cadrer. Il prolonge le guide de l’annotation vidéo.
Ce que le suivi ajoute à la détection
Quatre exigences distinguent une séquence suivie d’une succession d’images annotées.L’identifiant doit persister, un objet conservant le même numéro sur toute sa présence à l’écran.L’identifiant doit être unique, deux objets distincts ne pouvant jamais partager un numéro même à des moments différents de la séquence.La trajectoire doit être continue, un objet visible ne pouvant pas disparaître puis réapparaître sous un autre numéro.Et les transitions doivent être décidées, l’entrée dans le champ, la sortie et le passage derrière un obstacle appelant chacune une règle.Une conséquence pratique importante en découle. Ces quatre exigences portent sur les relations entre images plutôt que sur le contenu de chacune, ce qui rend une annotation vidéo correcte image par image potentiellement inutilisable en suivi.L’erreur caractéristique du suivi
Cette défaillance domine l’annotation vidéo suivie.Elle n’a pas d’équivalent en détection d’images.Le changement d’identifiant, ou permutation, survient lorsque deux objets échangent leurs numéros ou lorsqu’un objet reprend un numéro différent après une interruption.Trois propriétés la rendent particulièrement dommageable.Elle est invisible sur une image isolée, chaque image restant correcte prise séparément.Elle se propage, un numéro erroné se poursuivant jusqu’à la fin de la séquence ou jusqu’à la permutation suivante.Et elle détruit l’information que le suivi était censé produire, un comptage ou une analyse de trajectoire devenant faux à partir du point de permutation.Une observation importante en découle. Cette propriété impose un contrôle qualité portant sur la séquence plutôt que sur l’image, ce qui distingue radicalement le dispositif d’un contrôle d’annotation d’images.Les trois configurations qui produisent les permutations
Trois situations concentrent l’essentiel des erreurs d’identité.Le croisement de deux objets similaires, deux personnes vêtues de la même couleur se croisant produisant une ambiguïté que l’apparence seule ne lève pas.L’occlusion prolongée, un objet masqué pendant plusieurs secondes réapparaissant à un endroit et dans une pose qui ne permettent pas de le rattacher avec certitude.Et la densité, une scène contenant de nombreux objets similaires multipliant les appariements possibles à chaque image.Une conséquence pratique s’ensuit. Ces trois configurations se cumulent dans les scènes qui intéressent le plus les clients, foules, carrefours et rencontres sportives, ce qui fait que la difficulté croît précisément là où la demande se concentre.La politique d’occlusion
Cette convention est la plus déterminante d’un projet d’annotation vidéo suivie.Elle est pourtant régulièrement omise.Un objet masqué doit recevoir un traitement défini, et trois politiques cohérentes existent.L’interruption avec réattribution, la piste s’arrêtant à la disparition et un nouveau numéro étant attribué à la réapparition, politique simple qui produit des pistes fragmentées.La suspension avec reprise, la piste étant marquée occluse puis reprenant le même numéro, politique qui préserve l’identité et suppose que l’annotateur puisse rattacher les deux segments.Et l’interpolation à travers l’occlusion, la position étant estimée pendant le masquage, politique qui produit des boîtes sans support visuel et convient à certains usages seulement.Une observation importante en découle pour un projet d’annotation vidéo. Ces trois politiques produisent des corpus incompatibles entre eux, et un modèle entraîné sous l’une évalué sous l’autre présente une performance qui ne mesure rien.Le seuil de réapparition
Cette décision quantitative accompagne la politique d’occlusion.Reprendre un numéro après une interruption suppose de fixer la durée au delà de laquelle le rattachement n’est plus tenté.Trois considérations orientent ce seuil.La nature de la scène, un objet sortant du champ dans une rue passante ayant peu de chances de revenir quand un joueur sortant d’un cadrage sportif y reviendra certainement.La capacité de l’annotateur à trancher, un rattachement au delà de quelques secondes reposant souvent sur une inférence plutôt que sur une observation.Et l’usage aval, un comptage de passages tolérant la fragmentation là qu’une analyse de parcours individuel l’interdit.Une conséquence pratique s’ensuit. Ce seuil doit figurer dans la convention avec une valeur explicite, faute de quoi chaque annotateur applique la sienne et la cohérence du corpus se dégrade sans qu’aucune erreur individuelle soit constatable.Les conventions d’entrée et de sortie
Quatre transitions demandent chacune une règle écrite.L’apparition partielle en bord de champ, un objet visible à moitié devant recevoir ou non une piste selon un critère de surface visible.La sortie progressive, un objet quittant le champ devant être annoté jusqu’à un seuil défini.L’apparition au sein de la scène, un objet émergeant de derrière un obstacle sans jamais avoir été visible auparavant.Et la disparition définitive, distincte d’une occlusion et appelant une clôture de piste plutôt qu’une suspension.Une observation en découle. La quatrième transition est la plus difficile à trancher au moment de l’annotation, puisqu’un annotateur ne sait pas si un objet masqué reviendra, ce qui plaide pour une convention fondée sur la durée plutôt que sur l’intention.Ce que la mesure doit rapporter
Deux familles d’indicateurs coexistent en annotation vidéo.Leur confusion produit des évaluations trompeuses.Les métriques de détection mesurent si les objets sont trouvés et bien localisés, indépendamment de leur identité.Les métriques d’identité mesurent si le même objet conserve le même numéro, indépendamment de la qualité de localisation.Trois conséquences en découlent pour un projet d’annotation vidéo.Un système peut exceller en détection et échouer en identité, situation fréquente et qu’un indicateur unique masque.Le nombre de permutations doit être rapporté séparément, une valeur brute étant plus parlante qu’un indicateur composite.Et la durée moyenne des pistes complète utilement ces mesures, une fragmentation élevée signalant un problème que les taux ne montrent pas.Une conséquence pratique s’ensuit. Une exigence contractuelle exprimée sans distinguer ces deux familles permet de livrer un corpus conforme et inutilisable pour l’usage visé.Deux façons d’organiser le travail
Deux méthodes d’annotation vidéo coexistent.Leur choix affecte la cadence autant que la qualité.L’annotation image par image traite tous les objets d’une image avant de passer à la suivante, méthode intuitive qui favorise les permutations puisque l’annotateur doit réapparier l’ensemble à chaque pas.L’annotation piste par piste suit un objet du début à la fin de sa présence avant de passer au suivant, méthode qui préserve l’identité et exige de parcourir la séquence autant de fois qu’il y a d’objets.Une observation importante en découle. La seconde méthode réduit fortement les permutations et coûte davantage en temps de parcours, arbitrage qui penche vers elle dès que l’identité constitue le livrable, c’est-à-dire dans la plupart des projets de suivi.Ce que le suivi coûte
Cinq facteurs déterminent la charge et ils ne se réduisent pas à la durée de la vidéo.Le nombre d’objets simultanés, facteur dominant qui détermine le nombre de pistes à maintenir.La durée de présence de chaque objet, une piste longue coûtant davantage qu’une piste brève même à cadence égale.La fréquence des occlusions, chaque interruption demandant une décision de rattachement.La similarité des objets entre eux, une scène d’objets identiques exigeant une attention que des objets distincts ne demandent pas.Et la cadence d’annotation retenue, distincte de la cadence de la vidéo et arbitrée séparément.Une conséquence pratique en découle. Ces facteurs se multiplient, ce qui explique qu’une minute de vidéo dense coûte davantage que plusieurs minutes de vidéo peu peuplée, et rend le chiffrage à la durée particulièrement trompeur en annotation vidéo.La cadence d’annotation
Cette décision précède le travail et elle détermine le volume.Annoter toutes les images n’est presque jamais nécessaire, une cadence réduite suffisant à la plupart des usages.Trois considérations orientent ce choix.La vitesse des objets, un déplacement rapide exigeant une cadence supérieure pour que l’appariement reste possible.L’usage aval, un système temps réel travaillant à une cadence donnée et n’ayant pas besoin d’un corpus plus fin.Et la stratégie d’interpolation, une cadence réduite associée à une interpolation produisant un résultat proche d’une annotation exhaustive à une fraction du coût.Une observation en découle. Cette décision est le levier de coût le plus puissant d’un projet de suivi, et elle se prend en examinant la vitesse des objets sur un échantillon plutôt qu’en retenant une valeur par défaut.Ce que l’annotateur doit voir
Cinq fonctions d’interface conditionnent la qualité d’un travail de suivi et leur absence produit des permutations quelle que soit la compétence.L’affichage de la trajectoire passée, qui permet de vérifier la cohérence d’un déplacement sans revenir en arrière.La navigation image par image dans les deux sens, indispensable pour trancher un croisement.Le filtrage par identifiant, qui isole une piste et permet de la parcourir seule.La distinction visuelle des identifiants, couleur ou étiquette persistante, sans laquelle deux pistes voisines se confondent.Et le signalement des pistes interrompues, qui attire l’attention sur les rattachements en attente.Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. Ces cinq fonctions relèvent de l’outillage plutôt que de la méthode, et leur absence plafonne la qualité atteignable, ce qui en fait un point à vérifier avant d’engager une production plutôt qu’après avoir constaté un taux de permutation élevé.Le contrôle qualité d’un corpus suivi
Quatre vérifications automatiques détectent l’essentiel des défauts et elles s’exécutent sans intervention.La détection des sauts de position, un déplacement incompatible avec la vitesse physique de l’objet signalant une permutation.Le contrôle des durées de piste, une distribution comportant de nombreuses pistes très brèves signalant une fragmentation excessive.La vérification de l’unicité des identifiants, un même numéro apparaissant deux fois sur une image constituant une erreur formelle.Et le suivi de la taille des boîtes, une variation brutale signalant un changement d’objet plutôt qu’un mouvement.Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. Ces quatre contrôles se programment une fois et s’appliquent à tout un lot, ce qui en fait le meilleur rapport entre effort de mise en place et défauts détectés, et ils exploitent la continuité temporelle qu’une annotation d’images ne fournit pas.Ce que le suivi ne résout pas
Quatre limites méritent d’être posées.Une occlusion totale et prolongée reste indécidable, aucun observateur ne pouvant garantir qu’un objet réapparu est le même.Deux objets strictement identiques qui se croisent ne se départagent pas, l’information n’existant pas dans les images.La ré-identification entre caméras distinctes constitue un problème différent, que le suivi mono-caméra ne prépare pas.Et la trajectoire annotée ne dit rien du comportement, une analyse d’action demandant une annotation temporelle distincte.Cette première limite mérite d’être soulignée. Elle signifie qu’un projet doit accepter une part d’indécidabilité et prévoir une classe pour la consigner, plutôt que d’exiger une continuité que la donnée ne porte pas.Aborder un projet de suivi
Cinq questions cadrent ce type de projet et elles se posent en une réunion.L’identité constitue-t-elle le livrable ou une commodité. Une réponse négative permet une annotation d’images bien moins coûteuse.Quelle politique d’occlusion est retenue. Cette réponse détermine la structure du corpus et son incompatibilité avec les autres.Quel seuil de réapparition s’applique. Cette réponse doit être chiffrée et écrite.Quelle cadence d’annotation. Cette réponse est le principal levier de coût.Et combien d’objets simultanés les scènes comportent-elles. Cette réponse détermine la charge bien plus sûrement que la durée totale.Ces cinq réponses déterminent le volume, la méthode et le dispositif de contrôle. Les poser avant de commencer évite la situation la plus courante de ce domaine, un corpus annoté image par image dont les identités ne sont pas exploitables.Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.Le suivi déplace le livrable de l’objet vers la relation entre objets.Trois constats la composent.La qualité ne se vérifie plus sur une image mais sur une séquence, ce qui rend inopérant tout dispositif de contrôle conçu pour l’annotation d’images.L’erreur caractéristique est invisible localement et destructrice globalement, propriété qui impose des contrôles automatiques exploitant la continuité temporelle.Et les conventions de transition, occlusion, entrée et sortie, déterminent la compatibilité entre corpus davantage que la qualité des boîtes elles-mêmes.Ce constat rejoint celui que les séries précédentes ont établi dans des domaines très différents : ce qui détermine la valeur d’un corpus est la définition documentée de ce qu’il représente, et cette définition porte ici sur les relations plutôt que sur les objets.Les erreurs les plus fréquentes
- Annoter image par image alors que l’identité constitue le livrable.
- Ne pas écrire la politique d’occlusion.
- Laisser le seuil de réapparition à l’appréciation de chaque annotateur.
- Omettre les conventions d’entrée et de sortie de champ.
- Rapporter une performance globale sans isoler les permutations d’identité.
- Contrôler la qualité sur des images isolées plutôt que sur des séquences.
- Chiffrer à la durée de vidéo sans tenir compte du nombre d’objets simultanés.
- Annoter à la cadence native sans examiner la vitesse réelle des objets.
- Exiger une continuité d’identité que les occlusions rendent indécidable.
- Combiner des corpus produits sous des politiques d’occlusion différentes.
