Vidéosurveillance et smart city – annoter des flux urbains

La vidéosurveillance urbaine réunit une contrainte de volume qu’aucun budget ne couvre et un cadre juridique qui borne ce qu’il est permis de faire. C’est le vertical où la question du droit précède celle de la méthode. Cet article expose ce que ce contexte impose. Il prolonge l’article consacré à l’annotation vidéo pour l’analyse sportive.

Ce qui distingue ce contexte

Cinq propriétés caractérisent l’annotation vidéo urbaine. La caméra est fixe, ce qui fournit un arrière-plan stable et une géométrie constante. Le flux est continu, une caméra produisant vingt-quatre heures d’images par jour indéfiniment. Les personnes filmées n’ont pas consenti individuellement, ce qui place ce vertical sous un régime juridique strict. Les événements recherchés sont rares, l’essentiel du flux ne contenant rien d’intéressant. Et les conditions varient sur un cycle connu, jour et nuit alternant de façon prévisible sur une même vue. Une conséquence pratique importante en découle. La première et la dernière propriété rendent ce vertical plus prévisible que les autres, une même caméra produisant un nombre fini de configurations que l’on peut couvrir méthodiquement en annotation vidéo.

Ce que la caméra fixe apporte

Cette propriété simplifie plusieurs difficultés des articles précédents. L’arrière-plan reste identique d’une image à l’autre. Quatre exploitations directes en découlent. La soustraction de fond isole les objets mobiles sans aucun apprentissage, opération qui fournit une pré-annotation gratuite. Les zones d’intérêt se définissent une fois pour toutes, entrée, passage et zone interdite étant fixes dans l’image. La calibration se fait une seule fois, la relation entre l’image et le sol ne changeant pas. Et les configurations récurrentes se répètent, une même personne empruntant le même trajet produisant des images comparables. Une observation importante en découle. La première exploitation constitue le principal levier de productivité de ce vertical, une soustraction de fond réduisant drastiquement le volume d’images contenant quelque chose à annoter.

Le problème du volume

Cette contrainte structure tout projet d’annotation vidéo urbain. Un parc de caméras produit un volume sans rapport avec toute capacité d’annotation. Quatre stratégies de réduction s’appliquent successivement. La détection de mouvement, qui écarte les périodes où rien ne se passe. Le filtrage par zone, qui ne retient que les événements survenant dans les régions d’intérêt. La sélection par incertitude, qui retient les séquences où un modèle existant hésite. Et la sélection par couverture, qui complète le corpus sur les conditions manquantes. Une conséquence pratique s’ensuit. Ces quatre filtres s’appliquent en cascade et réduisent le volume de plusieurs ordres de grandeur, ce qui rend le problème traitable et déplace l’enjeu vers la conception du filtrage plutôt que vers la capacité d’annotation.

Le cadre juridique comme préalable

Cette contrainte précède toute considération technique. Une image de personne identifiable constitue une donnée personnelle, quel que soit l’usage prévu. Quatre exigences juridiques en découlent. La finalité doit être définie avant le traitement et elle borne ce qui peut être annoté. La minimisation impose de ne conserver que ce que la finalité exige. La durée de conservation doit être bornée, ce qui affecte la constitution d’un corpus durable. Et le lieu de traitement engage des obligations, un transfert hors de l’espace européen appelant un encadrement spécifique. Une observation importante en découle pour un projet d’annotation vidéo. Ces quatre exigences se traitent au cadrage et pas après, une image traitée sans base juridique ne se régularisant pas rétrospectivement.

L’anonymisation et ses effets

Cette opération est fréquemment demandée en annotation vidéo urbaine. Ses conséquences méritent d’être exposées. Le floutage des visages réduit l’identifiabilité et il modifie la donnée. Trois conséquences en découlent. La réidentification après occlusion devient plus difficile, le visage constituant un indice de continuité. Certaines tâches deviennent impossibles, la direction du regard et l’expression disparaissant. Et l’anonymisation partielle ne suffit pas toujours, la silhouette, la démarche et le contexte permettant parfois une identification. Une conséquence pratique importante en découle. Ces trois effets imposent d’anonymiser avant l’annotation plutôt qu’après, faute de quoi les annotateurs travaillent sur une donnée identifiante et le corpus livré ne correspond pas à celui sur lequel il a été produit.

Les tâches demandées

Cinq familles se rencontrent. Leur sensibilité juridique diffère fortement. Le comptage de personnes ou de véhicules, tâche la moins sensible puisqu’elle n’exige aucune identité. La mesure de flux et d’occupation, qui demande un suivi de trajectoire sans identification nominative. La détection d’événement, chute, attroupement ou objet abandonné, qui porte sur une situation plutôt que sur une personne. La détection de comportement, qui suppose de qualifier une action et soulève des questions au delà du droit. Et la reconnaissance de personne, encadrée strictement et interdite dans de nombreux contextes. Une observation en découle pour un projet d’annotation vidéo. Les trois premières familles couvrent l’essentiel des besoins réels de gestion urbaine, et un cadrage soigneux permet fréquemment de ramener une demande vers elles plutôt que vers les deux dernières.

Ce que la rareté des événements impose

Cette propriété distingue le vertical de tous les autres. Un événement recherché survient quelques fois par jour dans un flux continu. Trois conséquences importantes en découlent. Un corpus constitué par échantillonnage aléatoire ne contient presque aucun exemple positif. Les exemples doivent être recherchés dans les archives à partir de signalements plutôt que collectés au fil de l’eau. Et le déséquilibre entre classes atteint un niveau qui rend les métriques usuelles peu informatives. Une conséquence pratique s’ensuit. La deuxième conséquence suppose un accès aux archives et aux registres d’incidents, ressource dont la disponibilité conditionne la faisabilité et qui doit être vérifiée avant tout engagement.

Les conditions à couvrir

Cinq dimensions caractérisent la variabilité d’une caméra fixe. Leur couverture est plus accessible qu’ailleurs en annotation vidéo. Le cycle jour et nuit, dont l’effet sur une même vue est considérable. L’éclairage artificiel, qui produit des ombres portées fixes et des zones saturées. La météo, pluie et brouillard dégradant l’image de façon reconnaissable. La densité de fréquentation, une même vue à midi et à minuit ne présentant pas les mêmes difficultés. Et les modifications de scène, travaux ou mobilier déplacé invalidant l’arrière-plan de référence. Une observation importante en découle. La dernière dimension est la plus négligée et la plus perturbante, un changement d’arrière-plan invalidant la soustraction de fond et les zones d’intérêt définies, ce qui impose un dispositif de détection de ces changements.

Ce que la résolution impose

Une contrainte physique borne les tâches réalisables et elle est souvent découverte tardivement. Une caméra couvrant une place entière n’accorde que quelques dizaines de pixels à une personne éloignée. Quatre conséquences en découlent. Le comptage reste possible à faible résolution, une silhouette suffisant à établir une présence. Le suivi devient difficile, l’apparence ne portant plus assez d’information pour réapparier après une occlusion. La reconnaissance d’action devient impossible au delà d’une certaine distance, le geste n’étant pas résolu. Et la performance varie fortement selon la position dans l’image, une même caméra étant exploitable au premier plan et inutilisable au fond. Une observation importante en découle pour un projet d’annotation vidéo. La dernière conséquence justifie de définir une zone d’exploitabilité dans l’image et de la déclarer, plutôt que d’annoter uniformément un champ dont une partie ne porte pas l’information nécessaire.

Le contrôle qualité adapté

Quatre contrôles d’annotation vidéo exploitent les propriétés de la caméra fixe. La cohérence des zones, un objet annoté hors des régions traitées signalant une erreur de périmètre. La plausibilité des trajectoires, la géométrie fixe permettant de vérifier qu’un déplacement suit un cheminement possible. La comparaison entre périodes, une même caméra à la même heure sur deux jours produisant des statistiques comparables dont l’écart signale une anomalie. Et la vérification des transitions jour et nuit, moments où la performance chute et où le contrôle doit se concentrer. Une conséquence pratique en découle pour un projet d’annotation vidéo. Le troisième contrôle est propre à ce vertical et il est très économique, la stabilité de la vue fournissant une référence de comparaison qu’aucun autre contexte n’offre.

Ce que ce vertical coûte

Quatre facteurs déterminent la charge. L’efficacité du filtrage amont, qui détermine le volume réellement annoté et domine tous les autres facteurs. La densité de personnes dans les scènes retenues. L’exigence de suivi, un comptage coûtant bien moins qu’une mesure de flux. Et le traitement de l’anonymisation, poste distinct qui précède l’annotation. Une observation en découle. Le premier facteur écrase les autres, un filtrage bien conçu divisant le volume par plusieurs ordres de grandeur, ce qui fait de sa conception le principal poste de valeur ajoutée d’un projet d’annotation vidéo urbain.

Ce que ce contexte ne permet pas

Quatre limites méritent d’être posées en annotation vidéo urbaine. La reconnaissance de personne reste encadrée strictement et souvent interdite selon la finalité. La qualification d’intention ne repose sur aucune vérité terrain établie, ce qui rend une annotation de comportement suspect méthodologiquement fragile. Le suivi entre caméras constitue un traitement distinct dont l’admissibilité doit être examinée séparément. Et la conservation longue d’un corpus se heurte aux durées légales, ce qui limite la constitution d’un actif durable. Cette deuxième limite mérite d’être soulignée. Elle signifie qu’un projet demandant d’annoter un comportement anormal doit d’abord définir la normalité de façon observable, exercice qui échoue fréquemment et qu’il vaut mieux conduire avant de s’engager.

Aborder un projet urbain

Cinq questions cadrent ce type de projet d’annotation vidéo. La première précède les autres. Quelle finalité est déclarée. Cette réponse borne juridiquement ce qui peut être annoté. L’anonymisation intervient-elle avant l’annotation. Une réponse négative expose les annotateurs à une donnée identifiante. Quel filtrage amont est prévu. Cette réponse détermine le volume et donc le coût. Les archives d’incidents sont-elles accessibles. Leur absence rend impossible la constitution d’exemples positifs. Et le traitement peut-il avoir lieu hors de l’espace européen. Cette réponse conditionne l’organisation de la production. Ces cinq réponses déterminent la faisabilité juridique et le volume. Les poser avant de commencer évite un projet techniquement abouti et juridiquement inexploitable.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen. Ce vertical inverse l’ordre habituel des questions. Trois constats la composent. La finalité juridique borne le périmètre avant que la faisabilité technique n’entre en jeu, situation inhabituelle en annotation vidéo. Le filtrage amont pèse davantage sur le coût que la méthode d’annotation, ce qui déplace la valeur vers la conception du pipeline. Et la stabilité de la vue fournit un dispositif de contrôle par comparaison temporelle qu’aucun autre vertical n’offre. Ce constat rejoint celui que la série consacrée au cadre réglementaire agricole a établi : une contrainte externe formalise des pratiques qui étaient déjà rationnelles, et un prestataire les ayant adoptées par méthode se trouve conforme sans transition.

Les erreurs les plus fréquentes

• Commencer l’annotation avant d’avoir établi la finalité déclarée.
• Anonymiser après l’annotation plutôt qu’avant.
• Constituer un corpus d’événements rares par échantillonnage aléatoire.
• Négliger la conception du filtrage amont, qui domine le coût.
• Ignorer les modifications d’arrière-plan qui invalident les zones définies.
• Annoter un comportement anormal sans avoir défini la normalité observable.
• Traiter le suivi entre caméras comme une extension du suivi mono-caméra.
• Omettre les transitions jour et nuit du dispositif de contrôle.
• Supposer que le floutage suffit à rendre une personne non identifiable.
• Constituer un corpus durable sans vérifier les durées de conservation applicables.

Les usages hors sécurité

Quatre applications relèvent de ce vertical sans concerner la sécurité et elles présentent une sensibilité juridique moindre. La gestion du trafic, comptage de véhicules et mesure de files d’attente aux intersections. L’aménagement urbain, mesure de fréquentation d’un espace public pour en évaluer l’usage réel. La gestion des transports, occupation des quais et flux de correspondance. Et la maintenance d’infrastructure, détection de dégradations et d’objets encombrants sur la voirie. Une conséquence pratique en découle pour un prestataire d’annotation vidéo. Ces quatre applications se satisfont d’un comptage ou d’une mesure de flux sans identification, ce qui les place dans le régime le moins contraint, et elles représentent une part importante du besoin réel des collectivités.

Concevoir le filtrage amont

Cette opération pèse davantage sur le résultat que la méthode d’annotation et elle mérite un traitement détaillé. Cinq décisions la composent en pratique. Le seuil de détection de mouvement, dont une valeur trop basse laisse passer le feuillage et la pluie et dont une valeur trop haute manque les objets lents. La définition des zones traitées, qui écarte la voirie riveraine ou les fenêtres d’habitation pour des raisons juridiques autant que pratiques. La durée minimale d’un événement retenu, qui élimine les déclenchements fugaces sans intérêt. La marge temporelle conservée avant et après, sans laquelle un événement arrive sans contexte. Et le taux d’échantillonnage des périodes calmes, dont une part doit être conservée pour que le corpus contienne des exemples négatifs. Une observation importante en découle. La dernière décision est la plus souvent omise, un corpus composé uniquement de séquences filtrées ne contenant aucun exemple de situation ordinaire, ce qui produit un système incapable de distinguer un événement d’un fond dont il n’a jamais vu la variété.

L’organisation de la production

Quatre exigences distinguent un projet d’annotation vidéo urbain sur le plan opérationnel. L’accès restreint aux données, un nombre limité de personnes habilitées travaillant dans un environnement contrôlé. La traçabilité des accès, chaque consultation devant pouvoir être rattachée à une personne et à un moment. L’absence de copie locale, les images restant sur une infrastructure maîtrisée plutôt que téléchargées. Et la suppression à l’issue, dont la preuve constitue une obligation et non une formalité. Une conséquence pratique importante en découle pour un prestataire d’annotation vidéo. Ces quatre exigences relèvent d’une organisation certifiée plutôt que d’un engagement contractuel, et elles constituent un critère de sélection qui écarte de fait les prestataires ne disposant pas d’une infrastructure adaptée.

Le suivi entre caméras

Une extension est fréquemment demandée et elle constitue un problème distinct. Rattacher une personne observée par une caméra à la même personne vue par une autre relève de la réidentification. Trois difficultés techniques la caractérisent. L’apparence change entre les vues, l’angle et l’éclairage modifiant fortement la silhouette perçue. L’intervalle temporel entre deux observations rend l’appariement incertain, plusieurs candidats étant compatibles. Et le nombre de rapprochements possibles croît avec le nombre de caméras, ce qui multiplie les erreurs d’appariement. Une difficulté juridique s’ajoute et elle prime. Ce traitement construit un parcours individuel, ce qui en change la nature au regard du droit et appelle une base juridique distincte de celle du comptage. Une observation en découle pour un projet d’annotation vidéo. Cette difficulté juridique doit être examinée avant la difficulté technique, un dispositif techniquement réussi et juridiquement inadmissible ne pouvant pas être déployé.

Les objets et les personnes

Une distinction de nomenclature mérite d’être posée car elle a des conséquences juridiques autant que techniques. Quatre catégories composent une nomenclature urbaine typique. Les personnes, catégorie la plus sensible et souvent la plus fréquente. Les véhicules, dont la plaque constitue une donnée personnelle même lorsque le conducteur n’est pas visible. Les objets mobiles non animés, bagages et colis, dont l’annotation ne soulève aucune question d’identification. Et les éléments de scène, mobilier et infrastructure, qui servent de référence géométrique plutôt que de cible. Une conséquence pratique s’ensuit pour un projet d’annotation vidéo. La deuxième catégorie est régulièrement traitée comme neutre alors qu’elle ne l’est pas, une plaque lisible rendant un véhicule identifiant, ce qui impose de l’anonymiser au même titre qu’un visage lorsque la finalité ne l’exige pas.

Le premier lot à traiter

Quatre critères composent un lot pilote représentatif sur une caméra urbaine. Une séquence de jour et une séquence de nuit sur la même vue, dont l’écart de cadence révèle le facteur de difficulté principal. Une période de forte affluence, qui éprouve la convention sur les regroupements et les occlusions mutuelles. Une période calme, qui vérifie que le filtrage amont ne supprime pas les exemples négatifs nécessaires. Et une séquence contenant l’événement recherché, extraite des archives à partir d’un signalement plutôt qu’espérée. Une observation en découle. Le dernier critère conditionne tout le projet, l’impossibilité de constituer ce quatrième élément indiquant que les exemples positifs ne sont pas accessibles et que le projet n’est pas réalisable en l’état.

La question qui précède toutes les autres

Une question détermine si un projet urbain est réalisable et elle ne porte pas sur la technique. Que fera l’exploitant de l’information, personne par personne ou globalement. Une réponse globale, un flux ou une occupation, place le projet dans le régime le moins contraint et rend l’anonymisation complète possible dès l’amont. Une réponse individuelle, un parcours ou une identification, appelle une base juridique distincte qu’il faut établir avant toute annotation. Cette question se pose en une phrase, elle relève du droit avant la technique, et elle évite d’engager un travail dont le résultat ne pourra pas être exploité.

Ce que ce vertical apporte aux autres

Trois pratiques nées ici valent au delà du contexte urbain. Le filtrage amont conçu comme un poste à part entière, applicable partout où le volume brut dépasse la capacité d’annotation. La conservation délibérée d’exemples négatifs, précaution que tout corpus filtré exige et que peu de projets appliquent. Et la comparaison entre périodes comme contrôle qualité, disponible dès qu’une acquisition se répète dans des conditions stables. Ces trois pratiques ne supposent aucune contrainte juridique particulière, et leur adoption améliore un projet quel que soit son domaine.

Ce qu’il faut retenir

La vidéosurveillance urbaine place la question juridique avant la question technique, une finalité déclarée bornant ce qui peut être annoté. Trois lectures se dégagent. Le filtrage amont domine tous les autres facteurs de coût, une cascade de quatre filtres réduisant le volume de plusieurs ordres de grandeur, ce qui déplace la valeur d’un projet vers la conception du pipeline plutôt que vers la capacité d’annotation. L’anonymisation doit précéder l’annotation, faute de quoi les annotateurs travaillent sur une donnée identifiante et le corpus livré ne correspond pas à celui sur lequel il a été produit. Et la stabilité de la vue permet une comparaison entre périodes qui fournit un contrôle qualité très économique, une même caméra à la même heure sur deux jours produisant des statistiques dont l’écart signale une anomalie. Pour la tâche que ce vertical demande le plus souvent, l’article consacré à la segmentation temporelle détaille la méthode. Pour le traitement complet des questions de conformité, l’article sur le RGPD et l’annotation vidéo expose le cadre. Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous devez faire annoter des flux urbains, échangeons sur votre projet.