Un corpus vidéo peut être correct image par image et inutilisable dans son ensemble. Cette possibilité définit la difficulté propre du contrôle qualité vidéo : les défauts les plus graves ne sont visibles nulle part dans une image isolée.
Cet article expose comment les détecter. Il prolonge l’article consacré aux outils d’annotation vidéo.
Pourquoi le contrôle diffère ici
Quatre propriétés distinguent le contrôle d’un corpus d’annotation vidéo de celui d’un corpus d’images. Les défauts caractéristiques portent sur les relations entre images plutôt que sur leur contenu. Le volume interdit une vérification exhaustive, une minute annotée contenant des milliers d’objets. La redondance entre images voisines rend un échantillonnage aléatoire peu informatif, deux images consécutives portant presque la même information. Et la continuité fournit des contraintes vérifiables automatiquement qu’un corpus d’images ne fournit pas. Une conséquence pratique importante en découle. Ces quatre propriétés rendent inopérant un dispositif conçu pour l’annotation d’images en annotation vidéo, et elles ouvrent en même temps des contrôles automatiques plus puissants.Les défauts propres à la vidéo
Six modes de défaillance n’existent pas en annotation d’images. La permutation d’identité, deux objets échangeant leur identifiant. La fragmentation, une piste unique découpée en plusieurs par des rattachements manqués. La dérive de boîte, une localisation qui se décale progressivement sans erreur ponctuelle repérable. L’instabilité, un objet détecté puis manqué puis redétecté sur des images consécutives. Le report d’attribut, une valeur renseignée à une image clé et propagée alors qu’elle change. Et l’incohérence aux bornes de tâche, une piste coupée par un découpage administratif recevant deux identités. Une observation importante en découle. Ces six défauts partagent une propriété, chacun laisse chaque image individuellement correcte, ce qui les rend indétectables par tout contrôle portant sur des images isolées.Les contrôles automatiques
Six vérifications exploitent la continuité temporelle. Elles s’exécutent sans intervention. Le saut de position, un déplacement incompatible avec la vitesse physique signalant une permutation. La variation brutale de taille, qui signale un changement d’objet plutôt qu’un mouvement. La distribution des durées de piste, un excès de pistes très brèves révélant une fragmentation. L’unicité des identifiants par image, un même numéro apparaissant deux fois constituant une erreur formelle. La linéarité parfaite d’une trajectoire, signature d’une interpolation sur un intervalle trop long. Et la stabilité des attributs, une valeur constante sur toute une piste longue étant suspecte pour un attribut censé varier. Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. Ces six contrôles se programment une fois et s’appliquent à tous les lots, ce qui en fait le meilleur rapport entre effort de mise en place et défauts détectés de tout le dispositif.Ce que les contrôles automatiques ne voient pas
Quatre défauts d’annotation vidéo échappent à toute vérification programmée. L’omission, un objet jamais annoté ne produisant aucune anomalie détectable. L’erreur de classe systématique, une confusion cohérente entre deux classes passant tous les contrôles de forme. La délimitation imprécise, une boîte trop large ou trop étroite restant plausible. Et la mauvaise application d’une convention, un annotateur appliquant fidèlement une règle qu’il a mal comprise. Une observation importante en découle. Ces quatre défauts demandent un contrôle humain, ce qui fait de l’automatique et de l’humain deux dispositifs complémentaires plutôt que substituables.Comment échantillonner
Quatre principes gouvernent l’échantillonnage en annotation vidéo. Ils diffèrent d’un tirage aléatoire. Échantillonner des séquences plutôt que des images, la cohérence ne s’observant que sur une durée. Cibler les moments de risque, croisements, occlusions et transitions plutôt que des instants quelconques. Inclure les bornes de tâches, points de découpage où les incohérences se concentrent. Et conserver un échantillon constant entre les lots, seul moyen de mesurer une dérive dans le temps. Une conséquence pratique en découle pour un projet d’annotation vidéo. Le deuxième principe multiplie l’efficacité du contrôle, une minute prise autour d’une occlusion révélant davantage que dix minutes de séquence ordinaire.Le contrôle par visionnage accéléré
Cette méthode simple détecte plusieurs défauts. Elle est sous-employée en annotation vidéo. Le principe consiste à lire une séquence annotée en vitesse accélérée avec les annotations superposées. Trois défauts d’annotation vidéo y deviennent immédiatement visibles. Le clignotement, révélant une instabilité de détection qu’aucun examen image par image ne montre. Le saut de boîte, une position qui bondit attirant l’œil bien plus qu’une comparaison de coordonnées. Et le changement de couleur d’identifiant, qui rend une permutation visible instantanément. Une observation importante en découle. Cette méthode exploite la sensibilité de la vision humaine au mouvement anormal, elle traite une minute en quelques secondes, et elle constitue le contrôle humain au meilleur rendement en annotation vidéo.Détecter les omissions
Ce défaut est le plus grave et le seul qu’aucun contrôle automatique ne révèle. Un objet jamais annoté ne produit aucune anomalie, la vérification portant sur ce qui existe. Trois méthodes le détectent, et leur coût diffère fortement. La réannotation exhaustive d’une courte séquence, méthode fiable et coûteuse dont le résultat borne le taux d’omission du corpus. La comparaison avec un modèle existant, dont les détections non annotées signalent des candidats à vérifier. Et le contrôle de continuité inverse, une piste apparaissant au milieu de la scène sans provenir d’un bord signalant qu’elle existait avant sans être annotée. Une conséquence pratique importante en découle pour un projet d’annotation vidéo. La troisième méthode est automatisable et propre à la vidéo, une apparition sans origine constituant une anomalie physique que la continuité rend détectable, ce qui récupère une part des omissions sans réannotation.La mesure du désaccord
Cette opération borne ce qui peut être promis. Elle se conduit sur une séquence courte. Deux annotateurs formés traitent la même séquence et les résultats se comparent. Quatre informations exploitables en découlent. L’accord sur l’existence des objets, qui mesure les omissions réciproques. L’accord sur les identités, deux annotateurs pouvant produire des découpages de pistes différents. L’écart de localisation, distinct des deux précédents. Et la liste des désaccords, matière première du référentiel de cas. Une conséquence pratique s’ensuit. Le deuxième point est propre à la vidéo et il est rarement mesuré, deux annotateurs appliquant la même politique d’occlusion pouvant néanmoins produire des pistes différentes sur les cas limites.Les indicateurs à suivre par lot
Cinq valeurs se relèvent automatiquement. Leur évolution révèle les dérives. Le nombre moyen d’objets par image, dont une baisse signale des omissions. La durée moyenne des pistes, dont une baisse signale une fragmentation croissante. Le nombre d’images clés par piste, dont une baisse signale un relâchement sur le placement. Le taux d’objets marqués incertains, dont une baisse traduit souvent un relâchement plutôt qu’un progrès. Et le taux de rejet en validation, qui mesure la qualité amont. Une observation en découle pour un projet d’annotation vidéo. Le troisième indicateur est propre à cette tâche et il est très révélateur, un annotateur pressé espaçant les images clés et laissant l’interpolation produire un résultat plausible et faux.Le cycle de correction
Quatre étapes organisent l’amélioration, et elles se répètent entre les lots. L’exécution des contrôles automatiques sur le lot livré. Le visionnage accéléré d’un échantillon ciblé sur les moments de risque. Le regroupement des défauts par type plutôt que leur correction individuelle. Et l’écriture de la règle manquante avant le lot suivant. Une conséquence pratique importante en découle. La troisième étape distingue une correction d’une amélioration, corriger cent occurrences d’un même défaut sans écrire la règle garantissant qu’il reparaîtra au lot suivant.Ce que le contrôle doit rapporter
Cinq éléments composent un rapport de contrôle utile en annotation vidéo. La méthode d’échantillonnage, avec la part ciblée et la part aléatoire. Les résultats des contrôles automatiques, alertes levées et alertes confirmées. Le désaccord mesuré entre annotateurs, sur l’existence, l’identité et la localisation. L’évolution des indicateurs entre les lots. Et la liste des configurations pour lesquelles aucune convention stable n’a pu être établie. Une observation en découle. Le dernier élément est le plus rare et le plus utile, puisqu’il transforme une limite invisible en limite déclarée, principe que toutes les séries précédentes ont établi.Ce que le contrôle coûte
Quatre postes composent ce contrôle d’annotation vidéo. Leur répartition surprend. La mise en place des contrôles automatiques, coût unique de quelques heures. L’exécution, quasi nulle et répétable sur tous les lots. La vérification humaine des alertes, proportionnelle au nombre de défauts réels. Et le visionnage accéléré, très rapide rapporté à la durée traitée. Une conséquence pratique s’ensuit. Ce poste est nettement moins coûteux en vidéo qu’en images à volume d’objets égal, la continuité temporelle fournissant des contraintes vérifiables que des images indépendantes ne fournissent pas, ce qui contredit l’intuition d’un contrôle plus lourd.Aborder le contrôle d’un corpus vidéo
Cinq questions cadrent un dispositif de contrôle en annotation vidéo. Quels défauts spécifiques à la vidéo le projet risque-t-il. Cette réponse oriente les contrôles à programmer. Les contrôles automatiques sont-ils prévus dès le premier lot. Leur ajout tardif laisse passer les premiers lots. L’échantillon est-il ciblé sur les moments de risque. Un tirage aléatoire gaspille l’effort. Un échantillon constant est-il conservé entre les lots. Son absence rend la dérive indétectable. Et le désaccord sur les identités a-t-il été mesuré. Sa valeur borne ce qui peut être promis. Ces cinq réponses déterminent le dispositif et son coût. Les poser avant la production évite de constater après coup un défaut structurel que les premiers lots contenaient déjà.Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen. La vidéo rend certains défauts invisibles et d’autres détectables automatiquement. Trois constats la composent. Les défauts caractéristiques ne se voient sur aucune image isolée, ce qui condamne tout dispositif importé de l’annotation d’images. La continuité temporelle fournit des contraintes physiques vérifiables, ce qui rend le contrôle automatique plus puissant qu’en images. Et le visionnage accéléré exploite une capacité humaine que l’examen image par image n’exploite pas, ce qui en fait le complément naturel des contrôles programmés. Ce constat rejoint celui que les séries précédentes ont établi à propos des contrôles exploitant une contrainte structurelle : lorsque la donnée porte une régularité indépendante du contenu annoté, elle sert autant à vérifier qu’à produire.Les erreurs les plus fréquentes
- Contrôler des images isolées plutôt que des séquences.
- Échantillonner aléatoirement plutôt qu’aux moments de risque.
- Ajouter les contrôles automatiques après les premiers lots.
- Négliger les bornes de tâches, où les incohérences se concentrent.
- Ne pas mesurer le désaccord sur les identités, spécifique à la vidéo.
- Interpréter une baisse du taux d’incertains comme un progrès.
- Corriger les défauts un à un sans écrire la règle manquante.
- Omettre le suivi du nombre d’images clés par piste.
- Attendre des contrôles automatiques qu’ils détectent les omissions.
- Livrer un rapport sans la liste des configurations non stabilisées.
