Annotation vidéo pour l’analyse sportive

L’analyse sportive présente une configuration que peu de domaines réunissent : des objets visuellement identiques, un référentiel géométrique connu et une exigence portant sur des événements plutôt que sur des positions. Elle constitue le cas le plus difficile du suivi d’identités et le plus outillé. Cet article expose ce que ce contexte demande. Il prolonge l’article consacré à l’annotation vidéo pour la conduite autonome.

Ce qui distingue ce contexte

Cinq propriétés caractérisent l’annotation vidéo sportive. Les objets d’une même équipe sont visuellement identiques, tenue, couleur et morphologie ne les distinguant pas. Le terrain est un référentiel connu, ses dimensions et ses marquages fournissant une géométrie exploitable. Les règles bornent les configurations possibles, un joueur ne pouvant pas se trouver n’importe où ni faire n’importe quoi. Le nombre d’acteurs est fixe et connu à l’avance, contrainte forte qui n’existe dans aucun autre vertical. Et le livrable attendu porte souvent sur des événements et des statistiques plutôt que sur des trajectoires brutes. Une conséquence pratique importante en découle. La quatrième propriété fournit une vérification qu’aucun autre domaine n’offre, le nombre de pistes actives devant correspondre au nombre de joueurs sur le terrain, contrôle immédiat et sans équivalent en annotation vidéo.

Le problème de la similarité

Cette propriété en fait le cas le plus difficile du suivi d’identités. Deux joueurs d’une même équipe ne se distinguent que par le numéro de maillot et par le contexte. Quatre difficultés en découlent. Le numéro n’est lisible que sous certains angles, un joueur de face ou de profil ne le montrant pas. Les regroupements produisent des occlusions mutuelles nombreuses et brèves. Les contacts physiques rendent la séparation des silhouettes ambiguë. Et les changements de direction sont brusques, ce qui invalide l’appariement par continuité de trajectoire. Une observation importante en découle. Ces quatre difficultés se cumulent dans les phases de jeu qui intéressent le plus l’analyse, corners et mêlées notamment, ce qui fait que la difficulté croît exactement là où la valeur se concentre.

Les deux niveaux d’identité

Cette distinction éclaire le cadrage d’un projet d’annotation vidéo sportive. Elle est rarement posée. L’identité de piste garantit qu’un objet conserve un numéro interne sur la séquence. L’identité nominative rattache cette piste à un joueur désigné, information extérieure à l’image. Trois conséquences en découlent pour un projet d’annotation vidéo. Le premier niveau suffit à mesurer des distances parcourues et des occupations d’espace. Le second est indispensable à toute statistique individuelle et il coûte considérablement plus cher. Et le second se dérive parfois du premier, une piste correctement suivie n’ayant besoin d’être nommée qu’une fois. Une conséquence pratique s’ensuit. Cette dérivation est le principal levier d’économie de ce vertical, l’effort portant sur la continuité des pistes plutôt que sur la reconnaissance répétée des joueurs.

Ce que le terrain apporte

Cette information géométrique gratuite distingue ce vertical. Les marquages permettent de calculer la transformation entre l’image et le plan du terrain. Quatre exploitations en découlent. Le passage en coordonnées de terrain, qui rend les positions comparables entre caméras et entre séquences. La vérification de plausibilité, une position hors limites signalant une erreur. La régularisation des trajectoires, un déplacement s’exprimant en mètres par seconde plutôt qu’en pixels. Et le contrôle de vitesse, une valeur physiquement impossible signalant une permutation d’identité. Une observation importante en découle. Le dernier point fournit un détecteur de permutation d’une fiabilité supérieure à tout ce que les autres verticaux permettent, puisque la vitesse maximale d’un athlète est connue et étroitement bornée.

Ce que les règles apportent

Une seconde source de contrainte est disponible. Elle reste sous-exploitée en annotation vidéo. Le règlement borne les configurations que le jeu peut produire. Trois exploitations en découlent. Le comptage, un nombre de joueurs supérieur à l’effectif autorisé signalant une piste dupliquée. Les zones interdites, un gardien hors de sa surface dans certains sports contredisant une attribution d’identité. Et les phases d’arrêt, moments où les positions se stabilisent et où une réattribution fiable devient possible. Une conséquence pratique en découle pour un projet d’annotation vidéo. La troisième exploitation est la plus utile en pratique, les arrêts de jeu offrant des points de resynchronisation où toutes les identités peuvent être vérifiées et corrigées avant de repartir.

Le ballon comme objet à part

Un objet concentre une difficulté disproportionnée à sa taille et il mérite un traitement séparé. Le ballon est petit, rapide et fréquemment masqué, et sa position détermine pourtant l’essentiel de l’analyse. Quatre difficultés le caractérisent. Sa vitesse produit un flou de mouvement qui dilue son contour sur plusieurs pixels. Sa taille apparente varie fortement selon la distance à la caméra. Il disparaît régulièrement, masqué par les joueurs ou sorti du cadre. Et sa trajectoire est balistique plutôt que continue, ce qui invalide l’interpolation linéaire sur les phases aériennes. Une conséquence pratique importante en découle pour un projet d’annotation vidéo. Ces quatre difficultés justifient de traiter le ballon comme un poste distinct avec sa propre cadence, souvent supérieure à celle des joueurs, plutôt que de l’inclure dans le suivi général au même régime.

Le livrable attendu

Une différence essentielle sépare ce vertical des autres. Le client attend rarement des trajectoires et souvent des événements. Quatre familles de livrables se rencontrent. Les statistiques de déplacement, distances, vitesses et zones occupées, dérivées directement des trajectoires. Les événements de jeu, passes, tirs et duels, qui supposent une annotation temporelle distincte. Les configurations tactiques, lignes et blocs, qui portent sur des ensembles de joueurs plutôt que sur des individus. Et les séquences remarquables, extraits destinés au montage ou à l’analyse. Une observation en découle. La deuxième famille demande une compétence sportive que l’annotation de positions ne demande pas, ce qui en fait un poste distinct plutôt qu’une extension du travail de suivi.

L’annotation d’événements

Quatre décisions structurent cette tâche d’annotation vidéo. Elles se prennent avec un connaisseur du sport. Le vocabulaire d’événements, dont la granularité détermine tout le reste. La convention d’instant, un événement étant borné par un début et une fin ou réduit à un point. L’attribution, un événement étant rattaché à un joueur, à deux ou à aucun. Et le traitement des cas ambigus, une action interrompue ou contestée appelant une règle. Une conséquence pratique importante en découle. La deuxième décision produit le désaccord le plus fréquent entre annotateurs, le début d’une passe pouvant être situé au geste, au contact ou au départ du ballon, ce qui demande une définition écrite et illustrée plutôt qu’une compréhension supposée partagée.

Les configurations de caméra

Trois montages se rencontrent en annotation vidéo sportive. Ils n’appellent pas le même travail. La caméra fixe couvrant tout le terrain, qui donne une vue complète et une résolution faible sur chaque joueur. La caméra de diffusion, qui suit l’action et perd de vue une part des joueurs en permanence. Et le système multicaméra, qui couvre tout le terrain à résolution suffisante au prix d’un recalage entre vues. Une observation importante en découle pour un projet d’annotation vidéo. La deuxième configuration est la plus disponible et la moins adaptée, un joueur sortant du cadre puis y revenant posant un problème de réidentification que la première configuration n’a pas.

Ce que le contrôle qualité doit vérifier

Cinq contrôles d’annotation vidéo exploitent les contraintes propres à ce vertical. Le comptage par équipe, dont l’écart à l’effectif attendu signale immédiatement un défaut. La vitesse en coordonnées de terrain, dont un dépassement de la valeur physiquement possible révèle une permutation. La continuité aux arrêts de jeu, moments où toutes les identités doivent être vérifiables. La cohérence entre l’annotation de position et celle des événements, un tir attribué à un joueur absent de la zone constituant une contradiction. Et la durée des pistes, une fragmentation excessive signalant un échec de réidentification après occlusion. Une conséquence pratique s’ensuit. Ces cinq contrôles sont automatisables et ils exploitent des contraintes que le sport fournit gratuitement, ce qui donne à ce vertical un dispositif de vérification plus puissant que celui de la plupart des projets d’annotation vidéo.

Ce que ce vertical coûte

Quatre facteurs déterminent la charge d’annotation vidéo. Le nombre d’acteurs, fixe et connu, ce qui rend le dimensionnement plus prévisible qu’ailleurs. La densité des regroupements, qui concentre la difficulté sur une fraction de la durée. L’exigence d’identité nominative, qui multiplie le coût par rapport à une identité de piste. Et l’annotation d’événements, poste distinct demandant une autre compétence. Une observation en découle. Le premier facteur constitue un avantage rare, un match ayant une durée et un effectif connus à l’avance, ce qui permet un chiffrage au forfait bien plus sûrement que dans les autres verticaux.

Ce que ce contexte ne résout pas

Quatre limites méritent d’être posées. Deux joueurs en contact prolongé restent indissociables, la donnée ne portant pas l’information. Les numéros de maillot ne sont pas lisibles en permanence, ce qui laisse des intervalles où l’identité nominative repose sur la continuité seule. Les sports sans terrain marqué ne bénéficient pas du référentiel géométrique. Et les sports de contact intense présentent une densité d’occlusion qu’aucune méthode ne traite entièrement. Cette deuxième limite mérite d’être soulignée. Elle signifie que l’identité nominative dépend entièrement de la qualité du suivi, une piste interrompue devant être renommée manuellement, ce qui fait de la continuité l’enjeu central plutôt que la reconnaissance.

Aborder un projet d’analyse sportive

Cinq questions cadrent ce type de projet d’annotation vidéo. Identité de piste ou identité nominative. Cette réponse change le coût dans un rapport important. Le livrable porte-t-il sur des positions ou sur des événements. Cette réponse détermine la compétence requise. Quelle configuration de caméra. Cette réponse conditionne la faisabilité de la réidentification. Le référentiel de terrain est-il exploitable. Cette réponse détermine l’accès aux contrôles automatiques. Et une compétence sportive est-elle disponible. Son absence plafonne la qualité de toute annotation d’événements. Ces cinq réponses déterminent le périmètre, la méthode et le contrôle. Les poser avant de commencer évite un corpus de positions là où le client attendait des statistiques.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen. Ce vertical réunit la difficulté maximale de suivi et le dispositif de contrôle le plus puissant. Trois constats la composent. La similarité des objets rend l’appariement par apparence inopérant, ce qui reporte tout sur la continuité et sur le contexte. Les contraintes du terrain et des règles fournissent des vérifications automatiques qu’aucun autre domaine n’offre gratuitement. Et ces deux propriétés se compensent, la difficulté d’annotation étant élevée et la détectabilité des erreurs l’étant tout autant. Ce constat rejoint celui que la série consacrée aux cultures en rang a établi dans un domaine sans rapport : lorsqu’une information structurelle indépendante de l’apparence existe, elle vaut davantage qu’un raffinement du modèle visuel, et elle sert autant au contrôle qu’à la production.

Les erreurs les plus fréquentes

• Exiger une identité nominative là où une identité de piste suffisait.
• Négliger le contrôle par comptage d’effectif.
• Ne pas exploiter les arrêts de jeu comme points de resynchronisation.
• Annoter des événements sans définition écrite de l’instant de début.
• Confier l’annotation d’événements à un annotateur sans compétence sportive.
• Travailler en coordonnées image alors que le terrain fournit un référentiel.
• Ignorer le contrôle de vitesse comme détecteur de permutation.
• Utiliser une caméra de diffusion pour un livrable exigeant une couverture complète.
• Renommer manuellement les pistes plutôt que de traiter leur continuité.
• Chiffrer sans distinguer le poste positions du poste événements.

Les autres sports et leurs contraintes

Quatre familles se distinguent et elles ne présentent pas les mêmes difficultés. Les sports collectifs de terrain, football et rugby notamment, où la surface étendue et le nombre d’acteurs dominent. Les sports de salle, basket et handball, où la densité est supérieure et la surface réduite, ce qui améliore la résolution par joueur. Les sports individuels, athlétisme et natation, où l’identité ne pose pas de difficulté et où l’enjeu porte sur la mesure de gestes. Et les sports de raquette, où le nombre d’acteurs est minimal et où la balle constitue l’objet principal. Une observation en découle. Les deux dernières familles échappent presque entièrement aux difficultés exposées dans ce chapitre, ce qui en fait des points d’entrée nettement plus accessibles pour un prestataire d’annotation vidéo abordant ce vertical.

La pose comme livrable complémentaire

Une tâche s’ajoute fréquemment au suivi et elle change la nature du travail. L’annotation de points articulaires permet d’analyser un geste plutôt qu’un déplacement. Trois usages la justifient. L’analyse technique, où la qualité d’un mouvement compte davantage que la position. La prévention des blessures, où des postures répétées signalent un risque. Et la reconnaissance d’action fine, un tir et une passe se distinguant par le geste plutôt que par la trajectoire du joueur. Trois difficultés l’accompagnent. La charge par objet est bien supérieure, une pose comportant une dizaine de points là qu’une boîte en demande deux. Les occlusions rendent une partie des points non observables, ce qui impose une convention d’estimation ou d’omission. Et la résolution disponible sur un joueur lointain ne permet pas de placer les points avec précision. Une conséquence pratique en découle pour un projet d’annotation vidéo. Cette tâche ne se combine bien qu’avec une configuration de caméra offrant une résolution suffisante, ce qui la réserve aux dispositifs rapprochés plutôt qu’aux vues d’ensemble.

Le calendrier d’un projet sportif

Une contrainte de rythme distingue ce vertical et elle affecte l’organisation autant que la méthode. La valeur d’une analyse décroît rapidement après la rencontre. Trois conséquences en découlent. Le délai de livraison prime souvent sur la finesse, une analyse disponible avant l’entraînement suivant valant davantage qu’une analyse plus complète une semaine plus tard. La charge se concentre sur les jours de match, ce qui produit des pics d’activité incompatibles avec un lissage. Et la saison structure l’année, une période intense alternant avec une période creuse exploitable pour la constitution de corpus de référence. Une observation importante en découle pour un prestataire d’annotation vidéo. Ces trois contraintes favorisent une organisation capable d’absorber des pics et de fonctionner sur des créneaux courts, capacité qui distingue davantage qu’une performance d’annotation supérieure.

Ce que les données de capteurs changent

Une source complémentaire est fréquemment disponible et elle modifie le rôle de l’annotation. Les dispositifs de localisation portés par les joueurs fournissent des positions sans passer par l’image. Trois conséquences en découlent. L’identité est résolue par construction, chaque dispositif étant rattaché à un joueur nommé. Les positions sont fournies en coordonnées de terrain, ce qui supprime le besoin de transformation. Et la couverture est complète, aucun joueur ne sortant du champ d’un dispositif porté. Trois limites subsistent. Le ballon n’est généralement pas équipé, ce qui laisse l’objet central à la charge de l’image. La pose et le geste ne sont pas capturés par une simple position. Et les dispositifs ne sont pas autorisés dans toutes les compétitions ni portés par les adversaires. Une conséquence pratique importante en découle pour un projet d’annotation vidéo. Cette dernière limite est décisive, une analyse portant sur l’équipe adverse ne pouvant reposer que sur l’image, ce qui maintient la demande d’annotation là même où les capteurs sont déployés.

Constituer le référentiel d’événements

Une opération conditionne la cohérence de toute annotation d’événements et elle se conduit avec un connaisseur du sport. Cinq éléments composent la fiche d’un événement. La définition, exprimée en critères observables plutôt qu’en intention supposée du joueur. L’instant de référence, début, contact ou fin, tranché explicitement. Les confusions associées, événements voisins dont il faut le distinguer et critère qui les sépare. Les exemples illustrés, extraits vidéo montrant le cas typique et les cas limites. Et la conduite à tenir en cas de doute, classe dédiée plutôt que choix par défaut. Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. Ce référentiel demande quelques heures d’un connaisseur et il détermine la cohérence de milliers d’annotations, ce qui en fait l’investissement au meilleur rendement de ce type de projet.

Le premier match à traiter

Quatre critères composent un lot pilote représentatif en analyse sportive. Une phase de jeu ouverte, où les joueurs sont dispersés et le suivi le plus facile. Une phase arrêtée avec regroupement, corner ou mêlée, qui concentre les occlusions et éprouve la convention. Un arrêt de jeu, qui vérifie que la resynchronisation des identités est praticable. Et une séquence contenant les événements les plus fréquents, qui teste le référentiel avant sa généralisation. Une observation en découle. Ce lot représente quelques minutes de match, il fournit la cadence par type de phase et il révèle les désaccords sur les définitions d’événements, ce qui en fait la seule base sérieuse d’un chiffrage.

La question qui cadre le projet

Une question précède toutes les autres et elle détermine le coût dans un rapport important. La statistique attendue porte-t-elle sur l’équipe ou sur le joueur. Une réponse collective, occupation d’espace ou densité par zone, se satisfait d’une identité de piste et parfois d’un simple comptage. Une réponse individuelle, distance parcourue par joueur ou nombre de passes, exige l’identité nominative et tout ce qu’elle suppose. Cette question se pose en une phrase, elle est rarement posée, et sa réponse détermine si le projet relève d’un suivi ordinaire ou du cas le plus difficile de l’annotation vidéo.

Ce qu’il faut retenir

L’analyse sportive réunit des objets visuellement identiques, un référentiel géométrique connu et un effectif fixe, combinaison qui n’existe dans aucun autre vertical. Trois lectures se dégagent. L’identité de piste et l’identité nominative constituent deux niveaux distincts, le second se dérivant du premier lorsque le suivi est continu, ce qui fait de la continuité des pistes le principal levier d’économie. Le référentiel de terrain fournit un détecteur de permutation d’une fiabilité supérieure à tout ce que les autres verticaux permettent, la vitesse maximale d’un athlète étant connue et étroitement bornée. Et les arrêts de jeu offrent des points de resynchronisation où toutes les identités peuvent être vérifiées avant de repartir, ressource gratuite et sous-exploitée. Pour un vertical aux contraintes de volume différentes, l’article consacré à la vidéosurveillance et à la smart city expose sa logique. Pour le cadre général, le guide de l’annotation vidéo pose le panorama. Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous devez faire annoter des séquences sportives, échangeons sur votre projet.