Interpolation et keyframes – accélérer sans perdre en précision

L’interpolation est le levier de productivité le plus puissant de l’annotation vidéo, et le plus régulièrement mal employé. Son principe est simple : annoter certaines images et laisser calculer les positions intermédiaires. Ses conditions de validité le sont moins. Cet article expose quand elle fonctionne, quand elle échoue et comment la contrôler. Il prolonge l’article consacré au tracking d’objets.

Le principe et sa condition

Ce raisonnement fonde la méthode la plus employée en annotation vidéo. Il porte une hypothèse forte. Entre deux images annotées, la position d’un objet est calculée en supposant un déplacement régulier. Trois conséquences en découlent directement. Le gain croît avec l’intervalle, une image annotée toutes les dix produisant dix fois moins de travail manuel. L’erreur croît avec l’écart au mouvement supposé, un objet accélérant ou changeant de direction s’écartant de la trajectoire calculée. Et la validité dépend du contenu et non de la durée, un intervalle acceptable dans une scène lente ne l’étant pas dans une scène rapide. Une conséquence pratique importante en découle. Cette troisième propriété interdit de fixer un intervalle unique pour un projet d’annotation vidéo, la même valeur produisant un résultat exact sur une séquence et inutilisable sur une autre.

Ce qui rompt l’interpolation

Cinq événements invalident le calcul. Chacun impose une image annotée. Le changement de direction, une trajectoire calculée en ligne droite manquant entièrement un virage. Le changement de vitesse, une accélération ou un arrêt décalant toutes les positions intermédiaires. Le changement d’échelle, un objet s’approchant rapidement voyant sa taille varier de façon non linéaire. Le début et la fin d’une occlusion, moments où la position observable cesse ou reprend. Et le changement de plan, une coupe rendant tout calcul entre les deux images sans objet. Une observation importante en découle. Ces cinq événements définissent les images à annoter obligatoirement, ce qui déplace la question de l’intervalle vers celle des points de rupture, formulation nettement plus opérante.

Placer les images clés

Deux stratégies coexistent en annotation vidéo. Elles ne produisent pas le même résultat. Le pas fixe annote une image sur un nombre constant, méthode simple à organiser qui gaspille de l’effort sur les segments réguliers et manque les ruptures. Le placement adaptatif annote aux points de rupture et espace ailleurs, méthode qui produit un meilleur résultat pour un volume inférieur et demande à l’annotateur de repérer ces points. Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. La seconde stratégie suppose un parcours préalable de la séquence pour identifier les ruptures, opération rapide qui conditionne tout le gain et que le pas fixe évite au prix d’un résultat inférieur.

Les modes de calcul

Trois méthodes produisent les positions intermédiaires. Leur adéquation dépend du mouvement observé. L’interpolation linéaire suppose un déplacement à vitesse constante en ligne droite, hypothèse suffisante sur des intervalles courts et fausse sur des trajectoires courbes. L’interpolation par courbe lisse les changements de direction, ce qui convient aux mouvements continus et introduit des oscillations sur les trajectoires anguleuses. Et l’interpolation guidée par un modèle de suivi utilise le contenu des images intermédiaires plutôt qu’un calcul géométrique, méthode qui s’adapte au mouvement réel et introduit ses propres erreurs. Une observation en découle. La première méthode reste la plus employée et la plus prévisible, sa défaillance étant compréhensible et localisable, ce qui compte davantage qu’une précision supérieure dont les erreurs seraient plus difficiles à diagnostiquer.

Ce que l’interpolation ne calcule pas

Quatre éléments échappent au calcul en annotation vidéo. Ils demandent une décision explicite. L’apparition et la disparition d’un objet, événements discrets qu’aucune interpolation ne produit. Le changement de classe, un attribut catégoriel ne s’interpolant pas. Les attributs booléens, occlusion ou troncature, dont la valeur intermédiaire n’a pas de sens. Et l’identité, qui se propage plutôt qu’elle ne se calcule et dont la propagation reconduit une erreur éventuelle. Une conséquence pratique importante en découle. Le troisième point produit un défaut fréquent, un attribut d’occlusion renseigné aux images clés étant reporté mécaniquement sur les intermédiaires alors qu’il change entre-temps, ce qui rend cet attribut peu fiable dans un corpus interpolé sans contrôle spécifique.

Mesurer ce que l’interpolation coûte en précision

Une méthode simple quantifie cette perte. Elle se conduit sur un échantillon. Le principe consiste à annoter exhaustivement une courte séquence puis à comparer avec le résultat interpolé à différents intervalles. Trois informations exploitables en découlent. L’écart moyen de position par intervalle, qui montre à partir de quelle valeur la précision devient insuffisante. La distribution de cet écart, une moyenne acceptable pouvant masquer des écarts importants sur les segments rapides. Et l’identification des segments où l’écart explose, qui révèle les types de mouvement demandant un placement adaptatif. Une observation importante en découle pour un projet d’annotation vidéo. Cette mesure occupe une journée et elle remplace un choix d’intervalle arbitraire par une valeur justifiée, ce qui la rend disproportionnellement rentable au regard de son coût.

Repérer les ruptures en pratique

Quatre méthodes identifient les points à annoter et leur coût diffère. Le parcours visuel accéléré, qui repère les changements de direction et les coupes en une fraction de la durée réelle. La détection automatique de changement de plan, opération fiable et peu coûteuse dont le résultat se vérifie rapidement. L’analyse du mouvement global, qui signale les segments où la scène change rapidement sans identifier les objets. Et le repérage par l’écart d’interpolation, qui consiste à calculer d’abord puis à annoter là où le résultat s’écarte visiblement. Une observation en découle pour un projet d’annotation vidéo. La quatrième méthode inverse l’ordre habituel et elle est la plus économique, un premier calcul grossier localisant les zones problématiques mieux qu’un parcours a priori.

Le gain réel

Quatre facteurs modulent l’économie en annotation vidéo. Elle est inférieure à ce que le rapport d’intervalle laisse attendre. Le repérage des ruptures, qui demande un parcours de la séquence non compté dans le nombre d’images annotées. La vérification du résultat interpolé, sans laquelle le gain se paie en défauts non détectés. La correction des segments mal calculés, qui ramène une part des images vers un traitement manuel. Et le traitement des attributs non interpolables, qui reste à la charge de l’annotateur sur toute la séquence lorsqu’ils sont exigés. Une conséquence pratique s’ensuit. Le gain observé reste substantiel et il se situe nettement en deçà du rapport d’intervalle brut, écart qui doit figurer dans un chiffrage plutôt que produire une promesse intenable.

Contrôler un corpus interpolé

Quatre vérifications détectent les défauts propres à cette méthode d’annotation vidéo. L’examen des images situées au milieu des intervalles, positions les plus éloignées d’une observation et donc les plus susceptibles d’être fausses. La détection des trajectoires anormalement rectilignes, signature d’une interpolation sur un intervalle trop long. Le contrôle des variations de taille, une évolution parfaitement linéaire signalant un calcul plutôt qu’une observation. Et la vérification des attributs sur les intermédiaires, dont le report mécanique constitue le défaut le plus fréquent. Une observation en découle pour un projet d’annotation vidéo. La première vérification suffit à détecter l’essentiel des intervalles mal dimensionnés, elle s’automatise en échantillonnant systématiquement le milieu de chaque intervalle, et elle coûte une fraction d’un contrôle réparti uniformément.

Quand ne pas interpoler

Quatre situations rendent la méthode contre-productive. Les mouvements erratiques, où le nombre de ruptures approche celui des images et où le repérage coûte davantage que l’annotation directe. Les objets déformables, dont le contour change indépendamment du déplacement et qu’un calcul de position ne suit pas. La segmentation par masque, où l’interpolation d’un contour produit des formes intermédiaires souvent inacceptables. Et les cadences déjà très réduites, où l’intervalle entre deux images annotées est tel que l’hypothèse de régularité ne tient plus. Cette troisième situation mérite d’être soulignée. Elle signifie que le gain de l’interpolation décroît fortement lorsque la géométrie d’annotation se complexifie, et qu’un projet de segmentation vidéo ne bénéficie pas de l’économie qu’un projet de boîtes englobantes obtient.

L’articulation avec le suivi assisté

Ces deux méthodes se ressemblent. Il vaut mieux les distinguer. L’interpolation calcule des positions sans regarder les images intermédiaires, opération géométrique dont le comportement est entièrement prévisible. Le suivi assisté analyse ces images pour estimer la position, opération qui s’adapte au mouvement réel et dont les erreurs sont moins prévisibles. Trois différences pratiques en découlent. L’interpolation ne demande aucun modèle et fonctionne sur n’importe quelle séquence. Le suivi assisté produit un meilleur résultat sur les mouvements complexes et un résultat imprévisible sur les configurations qu’il maîtrise mal. Et leur combinaison est possible, le suivi produisant une proposition que l’annotateur corrige aux points de rupture identifiés. Une conséquence pratique en découle. Cette combinaison constitue le mode de travail le plus efficace en annotation vidéo, et elle suppose un outillage qui expose les deux mécanismes plutôt qu’un seul.

Ce que l’interpolation change au format

Trois exigences documentaires accompagnent un corpus interpolé. La distinction entre position observée et position calculée, information que la plupart des formats ne portent pas nativement et qui conditionne toute évaluation. L’intervalle employé, qui permet à un exploitant de savoir à quelle densité d’observation il a affaire. Et la méthode de calcul retenue, sans laquelle un résultat n’est pas reproductible. Une observation importante en découle. La première exigence est la plus souvent omise et la plus conséquente, un jeu d’évaluation contenant des positions calculées mesurant la conformité à une interpolation plutôt qu’à la réalité, ce qui invalide silencieusement toute comparaison de modèles.

Aborder l’interpolation dans un projet

Cinq questions cadrent cette décision et elles se posent avant la production. Quelle géométrie d’annotation. Une segmentation par masque bénéficie peu de cette méthode. Quelle est la dynamique des scènes. Cette réponse détermine si un pas fixe suffit ou si un placement adaptatif s’impose. L’écart toléré a-t-il été mesuré. Une valeur d’intervalle non justifiée par une mesure est arbitraire. Des attributs variables sont-ils exigés. Leur présence réduit fortement le gain attendu. Et le corpus d’évaluation contiendra-t-il des positions calculées. Une réponse positive fausse toute mesure. Ces cinq réponses déterminent le gain réel et la validité du résultat. Les poser avant de commencer évite la situation la plus courante, un corpus dont l’économie apparente se paie en imprécision non mesurée.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen. L’interpolation échange de la précision contre du volume, et cet échange doit être mesuré plutôt que supposé. Trois constats la composent. Le gain est réel et systématiquement surestimé, le repérage, la vérification et la correction consommant une part de l’économie annoncée. La perte de précision est mesurable en une journée et elle est rarement mesurée, ce qui fait que la plupart des projets choisissent un intervalle sans savoir ce qu’il coûte. Et une position calculée présente dans un jeu d’évaluation invalide la mesure, défaut invisible qui fausse une comparaison de modèles sans qu’aucun signal ne l’indique. Ce constat rejoint celui que les séries précédentes ont établi à propos des outils d’assistance : ils accélèrent le travail facile et laissent le travail difficile intact, ce qui rend leur apport réel et leur effet sur le coût total plus modeste qu’annoncé.

Les erreurs les plus fréquentes

• Fixer un intervalle unique pour toutes les séquences d’un projet.
• Choisir cet intervalle sans avoir mesuré l’écart qu’il produit.
• Ne pas annoter obligatoirement les points de rupture de trajectoire.
• Reporter mécaniquement les attributs booléens sur les images intermédiaires.
• Interpoler à travers un changement de plan.
• Appliquer l’interpolation à une segmentation par masque sans vérifier le résultat.
• Promettre un gain égal au rapport d’intervalle.
• Contrôler uniformément plutôt qu’au milieu des intervalles.
• Ne pas distinguer position observée et position calculée dans le format livré.
• Constituer un jeu d’évaluation contenant des positions interpolées.

L’interpolation en trois dimensions

Une extension mérite d’être signalée car ses conditions diffèrent. Les séquences de nuages de points annotées par boîtes tridimensionnelles se prêtent à la même méthode. Trois différences la caractérisent. Le mouvement d’un véhicule est plus régulier que celui d’un piéton, ce qui rend l’hypothèse de régularité plus solide et autorise des intervalles supérieurs. L’orientation s’interpole également, paramètre supplémentaire dont le calcul demande une attention particulière lors des virages. Et la position du capteur se déplace, ce qui impose de distinguer le mouvement de l’objet de celui de la scène avant tout calcul. Une conséquence pratique s’ensuit. Cette troisième différence rend l’interpolation en repère absolu nettement plus fiable qu’en repère capteur, un objet immobile paraissant se déplacer dans le second alors qu’il reste fixe dans le premier.

Ce que l’annotateur doit décider

Cinq décisions restent humaines quel que soit le degré d’assistance et elles définissent la compétence attendue. Le placement des images clés, opération qui suppose d’anticiper où le calcul échouera. L’acceptation ou le rejet d’un segment calculé, jugement qui demande de comparer une trajectoire à ce que montrent les images. Le traitement des bornes d’occlusion, moments où l’objet cesse d’être observable et où le calcul devient une extrapolation. La correction ciblée plutôt que globale, un segment mal calculé se reprenant par ajout d’une image clé plutôt que par annotation manuelle intégrale. Et le signalement des séquences où la méthode ne convient pas, information qui remonte au responsable du projet plutôt que se traduisant par un travail plus lent. Une observation importante en découle pour un projet d’annotation vidéo. La quatrième décision distingue un annotateur formé d’un annotateur qui subit l’outil, ajouter une image clé au bon endroit corrigeant tout un segment là qu’une reprise manuelle coûterait dix fois plus.

L’intervalle et la cadence d’annotation

Deux notions se confondent régulièrement et leur distinction éclaire un arbitrage. La cadence d’annotation désigne la densité d’images pour lesquelles une position est livrée. L’intervalle d’interpolation désigne la densité d’images effectivement observées par un annotateur. Trois combinaisons se rencontrent. Cadence réduite sans interpolation, qui livre des positions éparses et laisse les intervalles vides. Cadence complète avec interpolation, qui livre une position par image dont une partie est calculée. Et cadence réduite avec interpolation, combinaison qui n’a de sens que si la cadence livrée reste supérieure à l’intervalle observé. Une conséquence pratique en découle pour un projet d’annotation vidéo. La deuxième combinaison est la plus courante et la moins bien documentée, un corpus paraissant exhaustif alors que la densité d’observation réelle est bien inférieure, ce qui trompe un exploitant qui ne dispose pas de l’information d’intervalle.

Négocier l’intervalle avec un client

Quatre arguments rendent cette discussion productive et ils évitent une négociation sur un chiffre abstrait. Montrer la mesure d’écart sur ses propres séquences, ce qui remplace un débat d’opinion par un constat. Distinguer les types de scène, un intervalle différencié produisant un meilleur résultat pour un volume inférieur à un intervalle unique resserré. Exposer ce que l’intervalle coûte en précision plutôt que ce qu’il économise en volume, formulation qui déplace la décision vers l’usage. Et rappeler que le jeu d’évaluation doit rester exempt de positions calculées quelle que soit la valeur retenue. Une observation en découle. Le deuxième argument est le plus efficace et le moins employé, un client acceptant volontiers une différenciation qui améliore le résultat là où il refuserait une hausse uniforme du volume annoté.

Les gains hors interpolation

Quatre leviers réduisent la charge sans toucher à la précision et ils s’appliquent avant même d’envisager un calcul. La réduction de la cadence livrée, décision qui relève de l’usage aval et qui divise le volume sans introduire aucune approximation. Le découpage des séquences, l’exclusion des segments sans objet supprimant du travail plutôt que de l’accélérer. La simplification de la géométrie, une boîte englobante suffisant là où un masque était demandé par habitude. Et la réduction du nombre d’attributs, chaque attribut variable multipliant le travail sur toute la durée d’une piste. Une observation importante en découle pour un projet d’annotation vidéo. Ces quatre leviers agissent sur le périmètre plutôt que sur la méthode, ils ne dégradent rien, et ils sont systématiquement examinés après l’interpolation alors qu’ils devraient l’être avant.

Le contrôle par échantillonnage systématique

Une méthode de contrôle exploite la structure même d’un corpus interpolé et elle est plus économique qu’un sondage aléatoire. Le principe consiste à ne vérifier que les images situées au milieu des intervalles. Trois raisons le justifient. Ces positions sont les plus éloignées d’une observation et donc les plus susceptibles d’être fausses. Leur écart borne l’erreur de tout l’intervalle, une position médiane correcte impliquant que les autres le sont davantage. Et leur sélection est déterministe, ce qui permet d’automatiser l’extraction plutôt que de tirer au sort. Une conséquence pratique s’ensuit. Ce contrôle porte sur une fraction du corpus, il détecte les intervalles mal dimensionnés que le reste du corpus ne révèle pas, et il produit une mesure d’erreur exploitable pour ajuster l’intervalle sur les lots suivants.

Une règle de décision simple

Une formulation condense ce chapitre en une question posée séquence par séquence. Combien d’images séparent deux changements de comportement d’un objet. Si la réponse est de plusieurs dizaines, l’interpolation apporte l’essentiel de son gain et l’intervalle peut être large. Si la réponse est de quelques images, le repérage des ruptures coûte davantage que l’annotation directe et la méthode ne se justifie pas. Et si la réponse varie fortement d’une séquence à l’autre, un intervalle différencié s’impose plutôt qu’une valeur unique. Cette question se répond en observant quelques minutes de vidéo, elle précède tout choix d’outillage, et elle évite l’erreur la plus courante de ce domaine, appliquer un intervalle uniforme à un corpus hétérogène.

Ce qu’il faut retenir

L’interpolation calcule les positions intermédiaires en supposant un mouvement régulier, hypothèse dont la validité dépend du contenu de la scène et non de la durée de l’intervalle. Trois lectures se dégagent. Cinq événements rompent le calcul, changement de direction, de vitesse, d’échelle, bornes d’occlusion et changement de plan, ce qui déplace la question de l’intervalle vers celle des points de rupture, formulation nettement plus opérante. La perte de précision se mesure en une journée en comparant une séquence annotée exhaustivement à son interpolation, opération qui remplace un choix arbitraire par une valeur justifiée. Et une position calculée présente dans un jeu d’évaluation mesure la conformité à une interpolation plutôt qu’à la réalité, défaut silencieux qui invalide toute comparaison de modèles. Pour le vertical qui exploite le plus cette méthode, l’article consacré à l’annotation vidéo pour la conduite autonome expose les contraintes. Pour le cadre général, le guide de l’annotation vidéo pose le panorama. Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous devez cadrer une stratégie d’interpolation sur vos séquences, échangeons sur votre projet.