Annotation vidéo semi-automatique – modèles et validation humaine

L’assistance par modèle est présentée comme la réponse au coût de l’annotation vidéo. Elle apporte un gain réel, elle déplace le travail plutôt qu’elle ne le supprime, et elle introduit des modes de défaillance que la production manuelle ne connaît pas. Cet article expose ce qu’elle fait et ce qu’elle demande. Il prolonge l’article consacré à la préparation d’un dataset vidéo.

Les trois niveaux d’assistance

Trois mécanismes se distinguent en annotation vidéo. Leur confusion produit des attentes inexactes. L’interpolation géométrique, qui calcule des positions intermédiaires sans regarder les images et dont le comportement est entièrement prévisible. Le suivi assisté, qui analyse les images pour prolonger une piste et dont les erreurs dépendent du contenu. Et la pré-annotation complète, où un modèle produit un premier jeu que l’annotateur corrige. Une conséquence pratique importante en découle. Ces trois mécanismes n’exigent pas la même chose, le premier ne demandant aucun modèle et le troisième supposant un corpus initial, ce qui les rend disponibles à des moments différents d’un projet d’annotation vidéo.

Ce que l’assistance apporte réellement

Quatre effets sont mesurables. Ils ne portent pas sur la même chose. La cadence augmente sur les configurations courantes, qui représentent l’essentiel de la durée. La cohérence s’améliore, un modèle appliquant la même règle partout là où plusieurs annotateurs varient. Les désaccords entre le modèle et l’annotateur localisent les configurations difficiles. Et le coût marginal d’un lot supplémentaire décroît une fois les conventions établies. Une observation importante en découle. Le deuxième effet est le moins attendu et il compte autant que le premier, une pré-annotation cohérente réduisant la variabilité inter-annotateurs sur les cas où la convention est claire.

Ce que l’assistance ne fait pas

Quatre limites bornent son apport. Elles sont structurelles. Un modèle ne dispose pas de plus d’information qu’un annotateur sur un cas indécidable, ce qui produit une décision confiante et non fondée. Il applique les conventions du corpus qui l’a produit, ce qui rend une pré-annotation inutilisable lorsque les règles ont changé. Il ne détecte pas ce qu’il n’a jamais vu, ce qui laisse les classes rares entièrement à la charge de l’humain. Et il n’ajuste pas les bornes temporelles avec la précision qu’une mesure exige. Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. La troisième limite est la plus conséquente, l’assistance étant la plus faible exactement sur les configurations dont le corpus a le plus besoin.

Le biais de validation

Ce mécanisme dégrade silencieusement la qualité. Il est propre à ce mode de travail. Accepter une proposition demande moins d’effort que produire une annotation. Trois manifestations en découlent en annotation vidéo. Une boîte approximative est validée là où l’annotateur en aurait produit une plus juste. Une classe plausible est acceptée sans que l’alternative soit examinée. Et un rattachement d’identité est confirmé alors qu’il repose sur la même inférence que celle de l’annotateur. Une observation importante en découle. Ces trois manifestations produisent un corpus qui paraît plus cohérent et qui reproduit les erreurs du modèle, ce qui rend une mesure périodique sur des lots non assistés indispensable plutôt que facultative.

La propagation d’erreur

Ce second mécanisme est spécifique à l’annotation vidéo. Il aggrave le précédent. Une erreur de suivi se poursuit jusqu’à ce qu’un contrôle l’arrête. Trois conséquences en découlent. Une permutation à une occlusion contamine toutes les images suivantes de la piste. La correction demande de reprendre un segment entier plutôt qu’une image. Et la validation par échantillonnage a une chance élevée de manquer le point de bascule tout en rencontrant ses conséquences. Une conséquence pratique importante en découle pour un projet d’annotation vidéo. Ces trois conséquences imposent de concentrer la vérification aux points de rupture, occlusions et croisements, plutôt que de la répartir uniformément sur la durée.

La boucle d’amélioration

Cette organisation transforme l’assistance en levier croissant. Elle se met en place dès le premier lot. Chaque lot corrigé alimente le modèle qui pré-annotera le suivant. Quatre étapes composent cette boucle. La pré-annotation du lot par le modèle courant. La correction par les annotateurs, avec relevé des désaccords. Le réentraînement sur le corpus enrichi. Et l’analyse des désaccords, qui oriente le contenu du lot suivant. Une observation en découle. La quatrième étape est celle qui distingue une boucle d’une simple répétition, les désaccords localisant ce que le modèle ne maîtrise pas et donc ce qu’il faut lui donner.

Quand l’assistance devient disponible

Une contrainte de calendrier structure ce dispositif d’annotation vidéo. Une pré-annotation utile suppose un modèle, qui suppose un corpus. Trois phases se succèdent dans un projet d’annotation vidéo assistée. Le démarrage, où seule l’interpolation géométrique est disponible et où le coût par objet est maximal. La montée, où un premier modèle produit des propositions imparfaites dont la correction coûte encore du temps. Et le régime établi, où le modèle traite l’essentiel et où l’humain se concentre sur les cas difficiles. Une conséquence pratique s’ensuit. Cette progression explique pourquoi un projet long est proportionnellement moins coûteux qu’un projet court, et elle justifie de proposer un engagement pluriannuel plutôt qu’une succession de commandes ponctuelles.

Le corpus d’amorçage

Une question pratique se pose au démarrage et elle admet trois réponses. Un modèle a besoin d’un premier corpus pour être utile. Trois sources permettent d’obtenir ce corpus d’amorçage. L’annotation manuelle d’un premier lot, méthode sûre et la plus coûteuse. Un modèle généraliste pré-entraîné, qui détecte les classes courantes et ignore les classes métier. Et un corpus public du même domaine, qui donne un point de départ et impose une vérification des conventions. Une observation importante en découle pour un projet d’annotation vidéo. La deuxième source est la plus employée et elle produit un effet secondaire, un modèle généraliste orientant les annotateurs vers ses propres catégories plutôt que vers la nomenclature du projet, ce qui impose de vérifier la correspondance avant de l’employer.

Le seuil de confiance

Un réglage détermine ce que le modèle propose et il est rarement examiné. Une pré-annotation ne présente que les détections dépassant un score donné. Trois régimes de seuil se distinguent en annotation vidéo. Un seuil élevé ne propose que les cas certains, ce qui produit peu de corrections et laisse beaucoup à produire manuellement. Un seuil bas propose davantage et augmente le travail de suppression des propositions erronées. Et un seuil intermédiaire cherche le point où le temps gagné dépasse le temps de correction. Une conséquence pratique importante en découle. Ce point se mesure sur un échantillon plutôt qu’il ne se devine, et il diffère selon le type de scène, ce qui justifie un seuil différencié plutôt qu’une valeur unique appliquée à tout un corpus.

Mesurer ce que l’assistance apporte

Quatre indicateurs quantifient le gain, et ils se relèvent sans effort particulier. Le temps par objet avec et sans assistance, mesuré sur un même type de séquence. Le taux de propositions acceptées sans modification. Le taux de propositions corrigées, qui distingue une aide d’une gêne. Et l’accord sur des lots non assistés, qui détecte une éventuelle dérive de qualité. Une conséquence pratique s’ensuit. Le troisième indicateur mérite une attention particulière, un taux de correction élevé signifiant que l’annotateur passe plus de temps à réparer qu’il n’en gagnerait à produire, situation où l’assistance doit être désactivée plutôt qu’améliorée.

Ce qui reste humain

Cinq décisions ne se délèguent pas en annotation vidéo. Elles définissent la compétence attendue. Le jugement sur un cas indécidable, où le modèle produit une certitude que la donnée ne porte pas. Le rattachement d’identité après une occlusion prolongée. L’ajustement des bornes temporelles, que l’assistance localise sans les préciser. Le signalement d’un cas non couvert par la convention. Et la décision d’écarter une proposition entière plutôt que de la corriger. Une observation importante en découle pour un projet d’annotation vidéo. La dernière décision est celle qui distingue un annotateur formé, reprendre à zéro un segment mal proposé coûtant souvent moins que de corriger une proposition inadaptée.

Ce que l’assistance change au contrôle

Quatre adaptations du dispositif de contrôle s’imposent en annotation vidéo assistée. L’échantillonnage doit cibler les points de rupture plutôt que se répartir uniformément. Une part des lots doit rester non assistée pour mesurer la dérive. Les erreurs systématiques du modèle doivent être recherchées spécifiquement, une confusion cohérente passant tous les contrôles de forme. Et le taux de correction doit être suivi par type de configuration, sa hausse signalant une évolution du contenu ou une dégradation du modèle. Une conséquence pratique en découle. La deuxième adaptation coûte une part du gain et elle constitue la seule mesure fiable de la qualité réelle, ce qui la rend non négociable plutôt qu’optionnelle.

Aborder un projet assisté

Cinq questions cadrent un dispositif d’annotation vidéo assistée. Un modèle existe-t-il ou faut-il l’amorcer. Cette réponse détermine le calendrier du gain. Les conventions du modèle correspondent-elles à celles du projet. Une divergence rend la pré-annotation contre-productive. Une part non assistée est-elle prévue. Son absence rend la dérive indétectable. Le taux de correction sera-t-il suivi. Sa hausse signale qu’il faut désactiver plutôt qu’insister. Et la boucle de réentraînement est-elle organisée. Son absence transforme un levier croissant en gain figé. Ces cinq réponses déterminent le gain réel. Les poser avant de commencer évite une promesse d’économie que le dispositif ne tiendra pas.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen. L’assistance déplace le travail vers le haut plutôt qu’elle ne le réduit. Trois constats la composent. Elle traite les configurations courantes et laisse intactes celles qui font la difficulté d’un corpus. Elle introduit deux modes de défaillance propres, biais de validation et propagation, qui appellent un contrôle spécifique consommant une part du gain. Et elle exige un annotateur plus compétent, capable de reconnaître une proposition inadaptée plutôt que de la corriger machinalement. Ce constat rejoint celui que les séries précédentes ont établi à propos des outils d’assistance dans des domaines très différents : ils accélèrent le travail facile et laissent le travail difficile intact, ce qui rend leur apport réel et leur effet sur le coût total plus modeste qu’annoncé.

Les erreurs les plus fréquentes

• Confondre interpolation, suivi assisté et pré-annotation complète.
• Promettre un gain égal au taux de propositions acceptées.
• Employer un modèle dont les conventions diffèrent de celles du projet.
• Ne pas conserver de lots non assistés pour mesurer la dérive.
• Répartir la vérification uniformément plutôt qu’aux points de rupture.
• Négliger le suivi du taux de correction.
• Attendre de l’assistance qu’elle traite les classes rares.
• Corriger machinalement une proposition qu’il fallait écarter.
• Omettre la boucle de réentraînement, qui rend le gain croissant.
• Supposer qu’une pré-annotation cohérente est une pré-annotation juste.

Ce que l’assistance change au chiffrage

Quatre effets sur le coût accompagnent ce dispositif et deux d’entre eux vont dans le sens inverse de l’intuition. Le coût par objet décroît sur les configurations courantes, effet attendu et réel. Le coût de mise en place s’ajoute, intégration du modèle et paramétrage du seuil. Le contrôle devient plus coûteux, la part non assistée et la recherche d’erreurs systématiques s’ajoutant au dispositif ordinaire. Et le coût varie dans le temps, la première phase étant plus chère que les suivantes. Une observation en découle pour un projet d’annotation vidéo. Ces quatre effets rendent un chiffrage au forfait sur un projet court particulièrement risqué, le gain n’ayant pas le temps de compenser la mise en place, ce qui plaide pour réserver l’assistance aux engagements longs.

Former les annotateurs au travail assisté

Cinq réflexes distinguent un annotateur formé à ce mode et ils ne s’acquièrent pas par l’usage. Examiner avant d’accepter, le réflexe naturel étant de valider ce qui paraît plausible. Reconnaître les configurations où le modèle échoue systématiquement, occlusions et croisements en premier lieu. Écarter une proposition entière plutôt que de la corriger lorsqu’elle est inadaptée. Signaler une erreur récurrente du modèle plutôt que de la corriger silencieusement à chaque occurrence. Et conserver la même exigence sur les lots non assistés, dont la cadence inférieure ne doit pas se traduire par une qualité différente. Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. Le quatrième réflexe est le plus utile collectivement, une erreur systématique signalée une fois se corrigeant au réentraînement là qu’elle coûte une correction par occurrence indéfiniment.

Les modèles généralistes récents

Une évolution modifie le point de départ et son effet mérite d’être situé. Des modèles entraînés sur de très vastes corpus segmentent ou suivent sans entraînement spécifique. Trois apports sont réels et vérifiables en annotation vidéo. La segmentation à partir d’un point ou d’une boîte, qui remplace un tracé manuel par une désignation. Le suivi d’un objet désigné sur une séquence, sans corpus préalable. Et la disponibilité immédiate, qui supprime la phase d’amorçage. Trois réserves les accompagnent. La nomenclature métier reste absente, un modèle généraliste séparant des objets sans savoir lesquels comptent. Les performances chutent sur les objets petits, flous ou inhabituels. Et la cohérence d’identité sur une longue séquence reste le point faible. Une observation importante en découle. Ces modèles déplacent l’effort du tracé vers la désignation et la vérification, ce qui améliore surtout les tâches de segmentation et laisse le suivi d’identité dans l’état que ce chapitre a décrit.

Ce qu’il faut dire au client

Quatre formulations rendent cette conversation honnête et elles évitent une promesse intenable. Annoncer un gain sur les configurations courantes plutôt qu’un gain global, la distinction étant vérifiable et la promesse globale ne l’étant pas. Exposer que le contrôle change de nature et non qu’il disparaît, la part non assistée étant une dépense nouvelle. Situer le gain dans le temps, la première phase étant plus coûteuse que la production manuelle sur un projet court. Et rappeler que les classes rares restent à la charge humaine, ce qui borne l’économie sur les corpus dont c’est l’enjeu. Une observation en découle pour un prestataire d’annotation vidéo. La deuxième formulation est celle qu’on omet le plus volontiers et celle qui protège le mieux, un client découvrant en cours de projet une ligne de contrôle non annoncée en concluant que le gain a été surestimé.

Quand renoncer à l’assistance

Quatre situations rendent ce dispositif contre-productif et il vaut mieux les reconnaître tôt. Un corpus trop petit, où la mise en place et l’amorçage dépassent le gain attendu. Un contenu très hétérogène, où le modèle ne rencontre jamais deux fois la même configuration. Une nomenclature en cours de stabilisation, une pré-annotation figeant des conventions que le projet est en train de réviser. Et une exigence de précision élevée sur les bornes, que l’assistance localise sans les préciser. Une observation en découle pour un projet d’annotation vidéo. La troisième situation est la plus fréquente au démarrage, ce qui justifie de produire les premiers lots manuellement jusqu’à ce que les conventions tiennent, plutôt que d’introduire une assistance qui reproduira des règles appelées à changer.

Ce que le modèle apprend du corpus

Une propriété de la boucle mérite d’être signalée car elle produit un effet cumulatif. Un modèle réentraîné sur un corpus corrigé reproduit les conventions de ce corpus. Trois conséquences en découlent. Les conventions du projet se propagent dans les propositions, ce qui rend l’assistance progressivement plus pertinente. Les erreurs systématiques non corrigées se renforcent, le modèle apprenant une règle fausse appliquée avec cohérence. Et une évolution de convention en cours de projet crée une incohérence entre les lots anciens et le modèle courant. Une conséquence pratique importante en découle pour un projet d’annotation vidéo. La deuxième conséquence justifie la part non assistée bien au delà d’une simple mesure de dérive, un corpus entièrement assisté finissant par valider ses propres erreurs sans qu’aucun signal ne l’indique.

Le dispositif minimal

Cinq mesures encadrent une chaîne assistée et leur coût reste modeste. Une part de lots non assistés, fixée au départ et maintenue tout au long du projet. Le suivi du taux de correction par type de configuration. La vérification ciblée aux points de rupture, occlusions et croisements. La recherche d’erreurs systématiques du modèle, distincte du contrôle de forme. Et la consigne de signalement des erreurs récurrentes plutôt que de leur correction silencieuse. Une observation en découle pour un projet d’annotation vidéo. Ces cinq mesures consomment une part du gain annoncé et elles sont ce qui distingue une assistance qui améliore un corpus d’une assistance qui le dégrade en le rendant plus rapide.

La question qui décide de l’assistance

Une question tranche l’opportunité de ce dispositif et elle porte sur le projet plutôt que sur la technique. Le corpus sera-t-il produit une fois ou enrichi sur la durée. Une production unique et courte rend l’assistance douteuse, la mise en place et l’amorçage consommant le gain avant qu’il ne se manifeste. Un enrichissement durable la rend décisive, chaque lot améliorant le modèle qui traitera le suivant. Cette question se pose au cadrage, elle détermine si l’assistance est un investissement ou une dépense, et elle explique pourquoi le même dispositif est rentable chez un client et pas chez un autre.

Trois précautions avant de lancer

Trois précautions distinguent une chaîne assistée saine d’une chaîne qui dérive. Fixer la part de lots non assistés avant le premier lot, valeur qui ne se négocie pas ensuite sous la pression du délai. Vérifier que les conventions du modèle correspondent à celles du projet, une divergence produisant un travail de correction supérieur au travail de production. Et attendre que la nomenclature soit stable avant d’introduire une pré-annotation, un modèle figeant des règles en cours de révision. Ces trois précautions coûtent peu, elles se prennent au cadrage, et leur absence produit une chaîne rapide dont personne ne peut plus établir la qualité.

Ce qu’il faut retenir

L’assistance par modèle produit un gain réel sur les configurations courantes et laisse intactes celles qui constituent la difficulté d’un corpus. Trois lectures se dégagent. Le biais de validation produit un corpus qui paraît plus cohérent et qui reproduit les erreurs du modèle, ce qui rend une mesure périodique sur des lots non assistés indispensable plutôt que facultative. La propagation d’erreur est spécifique à la vidéo, une permutation contaminant toute la suite d’une piste, ce qui impose de concentrer la vérification aux points de rupture plutôt que de la répartir. Et un taux de correction élevé signifie que l’annotateur répare plus qu’il ne gagne, situation où l’assistance doit être désactivée plutôt qu’améliorée. Pour la vue prospective de ce domaine, l’article consacré aux tendances de la vision vidéo temps réel examine les évolutions. Pour le cadre général, le guide de l’annotation vidéo pose le panorama. Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous souhaitez mettre en place une chaîne d’annotation assistée, échangeons sur votre projet.