Fabriquer des données plutôt que les acquérir résout un problème de disponibilité en en introduisant un autre. Une donnée produite arrive avec sa description déjà faite, ce qui supprime le travail humain et le remplace par une question que rien ne tranche : cette donnée ressemble-t-elle à ce que le système rencontrera.
Cet article expose cette pratique. Il prolonge l’article consacré à l’
active learning.
Ce que la donnée produite apporte
Cinq bénéfices accompagnent cette approche en labellisation de données.
Une description exacte fournie sans aucune intervention humaine.
Un volume disponible sans la moindre limite d’acquisition.
Une couverture des situations rares ou bien dangereuses.
Un équilibre des catégories décidé plutôt que subi.
Et une absence complète de toute donnée personnelle.
Une conséquence pratique importante en découle. Le troisième bénéfice justifie à lui seul cette approche dans plusieurs domaines, certaines situations ne pouvant être ni attendues ni provoquées dans le monde réel.
Ce que la donnée produite ne remplace pas
Cinq limites accompagnent cette approche en labellisation de données.
L’écart entre la donnée produite et la donnée réellement acquise.
L’absence de tous les défauts d’acquisition du monde réel.
La répétition des motifs que le générateur reproduit sans cesse.
La difficulté à produire ce que personne n’a imaginé.
Et l’impossibilité d’évaluer un système sur ces données seules.
Une observation importante en découle pour un projet de labellisation de données. La dernière limite est la plus contraignante, un jeu d’évaluation devant provenir du monde réel quelle que soit la part synthétique du corpus d’entraînement.
Ce que l’écart au réel produit
Cinq différences séparent une donnée produite d’une donnée réellement acquise.
Une netteté nettement supérieure à celle des capteurs réels.
Un éclairage ainsi qu’un cadrage bien trop réguliers.
Une absence des artefacts propres à chaque matériel employé.
Une variabilité nettement inférieure à celle du monde observé.
Et une distribution des situations décidée par un paramétrage.
Une conséquence pratique s’ensuit. Ces cinq différences se combinent en un écart que le système apprend sans le savoir, ce qui produit d’excellents résultats sur les données produites et un échec sur les premières données réelles.
Ce que la mesure de l’écart demande
Cinq comparaisons révèlent la distance entre les deux ensembles.
La performance d’un même modèle mesurée sur chacun des deux corpus.
La capacité d’un simple classifieur à distinguer leur origine.
La répartition des catégories dans l’un ainsi que dans l’autre.
Les caractéristiques d’acquisition présentes d’un seul côté.
Et les types d’erreurs effectivement commises sur chaque ensemble.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La deuxième comparaison donne la mesure la plus directe, un modèle simple distinguant sans effort les données produites des données réelles signalant un écart que le système principal apprendra tout aussi facilement.
Ce que la combinaison des deux permet
Cinq façons de mêler génération et acquisition en labellisation de données.
Un entraînement initial sur données produites puis un ajustement sur données réelles.
Un enrichissement des seules catégories rares par la génération.
Une production ciblée sur les seules situations dangereuses à observer.
Un mélange proportionné dans un même corpus d’entraînement.
Et une évaluation exclusivement conduite sur des données réelles.
Une observation en découle. La première façon donne les meilleurs résultats dans la plupart des domaines, une base produite fournissant les régularités générales pendant qu’un ajustement réel corrige l’écart.
Ce que le travail humain devient ici
Cinq tâches subsistent malgré la description automatique.
La définition du référentiel que le générateur devra appliquer.
La vérification que les données produites ressemblent bien au réel.
La description du jeu d’évaluation, nécessairement réel.
L’analyse des situations que le générateur ne couvre jamais.
Et la description des données réelles servant à l’ajustement.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Ces cinq tâches représentaient déjà la part la plus coûteuse d’un projet, ce qui explique qu’une approche supprimant entièrement la description ne réduise le budget que dans une proportion limitée.
Aborder un projet mixte
Cinq questions cadrent un tel projet de labellisation de données.
L’évaluation reste-t-elle réelle. C’est non négociable.
L’écart au réel est-il mesuré. Il se voit tard sinon.
Quelles situations justifient la génération. Les rares et les dangereuses.
Un ajustement réel est-il prévu. Il corrige l’écart.
Et le générateur couvre-t-il l’imprévu. Presque jamais.
Ces cinq réponses déterminent la valeur du corpus obtenu. Les poser avant de produire évite un système excellent en simulation et défaillant ailleurs.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.
Une donnée produite porte la description exacte d’un monde approximatif.
Trois constats la composent.
L’écart au réel s’apprend sans que rien ne le signale.
Un jeu d’évaluation doit rester réel quelle que soit la méthode.
Et un générateur ne produit pas ce que personne n’a imaginé.
Ce constat prolonge les chapitres précédents, la difficulté se déplaçant de la description vers la représentativité.
Les erreurs les plus fréquentes
- Évaluer un système sur des données produites artificiellement.
- Négliger la mesure de l’écart entre production et réalité.
- Supposer qu’un volume illimité compense un écart de distribution.
- Omettre l’ajustement final sur données réelles.
- Générer uniquement les situations déjà bien couvertes.
- Confondre absence de données personnelles et absence de biais.
- Ignorer les artefacts que le monde réel ajoute toujours.
- Attendre du générateur qu’il produise l’imprévu.
- Comparer un résultat en simulation à un résultat en usage.
- Supposer que le gain se transpose d’un domaine à un autre.
Ce que le générateur exige en amont
Cinq travaux précèdent toute production de données.
La modélisation des objets ainsi que des scènes à représenter.
Le paramétrage des variations que la génération devra explorer.
La définition des situations que le corpus final doit couvrir.
La reproduction des défauts d’acquisition propres au monde réel.
Et la validation du rendu par comparaison avec des données acquises.
Une observation importante en découle pour un projet de labellisation de données. Ces cinq travaux déplacent le coût plutôt qu’ils ne le suppriment, un générateur crédible demandant des semaines de conception, ce qui rend cette approche rentable sur de grands volumes et coûteuse en deçà.
Ce que les domaines concernés ont en commun
Cinq situations rendent cette approche particulièrement pertinente.
Un événement rare que l’acquisition ne rencontrera jamais.
Une situation dangereuse impossible à provoquer réellement.
Un environnement dont l’accès est coûteux ou bien restreint.
Un besoin portant sur des données personnelles particulièrement sensibles.
Et une géométrie parfaitement connue dès la construction.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La dernière situation explique l’avance de certains domaines, une scène produite fournissant les distances et les positions exactes qu’aucune description humaine n’obtiendrait, ce qui rend la génération supérieure au travail manuel plutôt que simplement moins chère.
Trois décisions avant de générer
Trois décisions engagent un projet mixte de labellisation de données.
Constituer un jeu d’évaluation issu du monde réel avant toute génération.
Mesurer l’écart entre les deux ensembles dès le premier lot produit.
Et prévoir un ajustement final sur données réellement acquises.
Ces trois décisions coûtent quelques jours, elles précèdent la production de volume, et leur absence produit un système excellent en simulation et invérifiable ailleurs.
La question qui cadre le recours à la génération
Une question détermine la pertinence de cette approche en labellisation de données.
Le problème vient-il du volume disponible ou de la variété rencontrée.
Un problème de volume, des données abondantes mais coûteuses à décrire, se traite par la génération dès lors que l’écart au réel reste mesurable et corrigeable.
Un problème de variété, des situations que l’acquisition ne produit jamais, se traite par la génération à condition que quelqu’un sache les décrire pour les modéliser.
Cette question relève de ce qui manque au corpus, elle se pose avant toute conception de générateur, et elle explique qu’une même technique serve deux objectifs sans commune mesure.
Trois vérifications sur un corpus mixte
Trois contrôles qualifient un tel corpus de labellisation de données.
L’origine réelle du jeu d’évaluation finalement employé.
La présence d’une mesure de l’écart entre les deux ensembles.
Et l’existence d’un ajustement conduit sur données acquises.
Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence technique, et leur absence indique un résultat annoncé que rien ne rattache au monde réel.
Ce que le prestataire apporte ici
Quatre apports distinguent un projet mixte bien conduit.
La description soignée du jeu d’évaluation réel.
Une mesure de l’écart publiée plutôt que supposée négligeable.
Un signalement des situations que le générateur ne couvre pas.
Et une description des données réelles servant à l’ajustement final.
Une conséquence pratique importante en découle. Le premier apport paraît modeste et devient le plus déterminant, un jeu d’évaluation réduit mais parfaitement décrit constituant la seule référence permettant de savoir si le corpus produit sert à quelque chose.
Ce que l’ajustement final demande
Cinq propriétés rendent cette dernière étape efficace.
Un volume réel modeste mais très soigneusement décrit.
Une couverture des situations les plus fréquentes rencontrées en usage.
Une qualité de description supérieure à celle du corpus produit.
Une inclusion des défauts d’acquisition propres au matériel employé.
Et une mesure du gain obtenu avant puis après cette étape.
Une observation importante en découle pour un projet de labellisation de données. La troisième propriété se néglige à tort, un ajustement portant sur peu de données ne tolérant aucune approximation puisque chaque élément y pèse infiniment plus que dans un corpus produit en volume.
Ce que ce chapitre laisse au suivant
Un corpus produit ou acquis porte les mêmes défauts que tout corpus.
Trois questions restent ouvertes en labellisation de données.
Quels défauts coûtent le plus cher une fois le système en usage.
Pourquoi certains restent invisibles jusqu’au dernier moment.
Et comment les repérer avant qu’ils ne se manifestent.
Ces trois questions relèvent des erreurs les plus coûteuses, qui constituent l’objet du chapitre suivant.
Trois erreurs propres à la génération
Trois défauts de labellisation de données tiennent à cette approche.
Une évaluation conduite sur les données produites elles-mêmes.
Un écart au réel jamais mesuré et supposé négligeable.
Et un générateur reproduisant les situations déjà bien couvertes.
Ces trois défauts produisent des résultats annoncés excellents, ils se révèlent au premier contact avec des données acquises, et leur point commun est de confondre la maîtrise d’un monde construit avec celle du monde observé.
Ce que le client doit fournir ici
Cinq éléments viennent du client plutôt que du prestataire.
Un échantillon de données réelles servant de référence au rendu.
La description des situations que son usage rencontre réellement au quotidien.
Les caractéristiques précises du matériel d’acquisition employé.
Les situations rares qu’il souhaite absolument voir couvertes.
Et un retour sur les échecs constatés lors de l’usage réel.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le premier élément conditionne tout le rendu du générateur, une production conçue sans référence réelle produisant un monde plausible mais différent, ce qui se corrige difficilement une fois le volume produit.
Ce que ce chapitre partage avec les précédents
Trois constats reviennent depuis le début du parcours.
Un corpus qui n’éprouve pas la difficulté rassure à tort.
Le défaut le plus coûteux reste celui que rien ne signale.
Et une mesure ne dit jamais que ce que sa population contient.
Une observation importante en découle pour un projet de labellisation de données. Le troisième constat prend ici sa forme la plus nette, un excellent résultat calculé sur des données produites décrivant fidèlement la performance sur un monde qui n’existe pas, ce qui rappelle qu’un chiffre se lit d’abord à travers l’ensemble sur lequel il a été obtenu.
Ce que ce sujet a de particulier
Quatre traits distinguent cette question des autres du parcours.
Elle supprime le travail de description plutôt qu’elle ne l’améliore.
Elle remplace un problème de coût par un problème de validité.
Elle produit une description exacte par construction.
Et elle rend le jeu d’évaluation plus important que le corpus.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le troisième trait explique l’attrait de cette approche, une description sans erreur possible supprimant d’un coup toutes les préoccupations d’accord et d’omission des chapitres précédents, ce qui déplace entièrement la difficulté sans la réduire.
Ce que le premier essai doit établir
Cinq mesures orientent la suite du projet.
La performance obtenue sur le jeu d’évaluation réel.
La facilité avec laquelle un modèle distingue les deux origines.
Le gain apporté par un ajustement sur données acquises.
La liste des situations que le générateur ne sait pas produire.
Et le temps réel consacré à la conception du générateur.
Une observation importante en découle pour un projet de labellisation de données. La troisième mesure tranche l’essentiel, un ajustement apportant un gain considérable signalant un écart important que le volume produit ne compensait pas, ce qui indique où porter l’effort avant d’augmenter la production.
Ce que cette approche change à l’économie
Cinq effets modifient la structure du budget.
Le coût de description tend vers zéro sur la part produite.
La conception du générateur occupe une part importante du démarrage.
La production de volume ne coûte presque plus rien ensuite.
Le jeu d’évaluation reste entièrement à la charge du projet.
Et l’ajustement final ajoute une description réelle soignée.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le deuxième effet fixe le seuil de rentabilité, une conception de générateur coûtant plusieurs semaines quel que soit le volume visé, ce qui rend cette approche intéressante au-delà d’un certain volume et perdante en deçà.
Trois questions à poser avant de générer
Trois questions précèdent l’adoption de cette approche.
D’où viendront les données servant à l’évaluation finale.
Comment l’écart au réel sera-t-il mesuré et quand.
Et un ajustement sur données acquises est-il prévu au budget.
Ces trois questions se posent avant toute conception, elles ne demandent aucune compétence technique, et leur absence conduit à financer un volume dont personne ne saura estimer l’apport.
Ce que ce chapitre suppose du prestataire
Cinq pratiques distinguent un projet mixte honnête.
Publier les résultats obtenus sur données réelles plutôt que produites.
Mesurer l’écart et le communiquer même lorsqu’il dessert le projet.
Signaler les situations que le générateur ne couvrira jamais.
Chiffrer la conception du générateur avant d’annoncer une économie.
Et dire quand le volume visé ne justifie pas cette approche.
Une conséquence pratique importante en découle. La première pratique distingue immédiatement deux discours, un résultat annoncé sans préciser son ensemble de calcul étant précisément celui qu’aucun client ne devrait accepter, ce qui rejoint l’exigence de ventilation posée au chapitre sur la qualité.
Ce que cette approche ne remplace pas
Cinq travaux subsistent intacts malgré la description automatique.
La définition des catégories et de leurs frontières.
La constitution d’un jeu d’évaluation réel et décrit.
L’analyse des situations que l’usage rencontre vraiment.
La description des données servant à l’ajustement final.
Et la documentation remise avec le corpus produit.
Une observation importante en découle pour un projet de labellisation de données. Le premier travail reste entièrement humain et conditionne le générateur lui-même, une catégorie mal définie produisant un million d’exemples appliquant fidèlement une convention erronée, ce qui aggrave le défaut au lieu de l’atténuer.
Ce que la production à partir d’un modèle change
Cinq observations concernent les données produites par un autre système.
La description n’est plus exacte mais seulement probable.
Les biais du système générateur passent dans le corpus produit.
La variété se réduit à mesure que la génération se répète.
Une vérification humaine redevient nécessaire sur un échantillon.
Et l’origine des données mérite d’être tracée jusqu’à la livraison.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La deuxième observation distingue nettement ces données d’une génération paramétrique, une description issue d’un modèle reproduisant fidèlement ses erreurs, ce qui rapproche cette pratique de la pré-annotation examinée précédemment plutôt que d’une véritable production synthétique.
Ce que cette pratique devient
Cinq évolutions se dessinent pour ces usages.
La qualité du rendu progresse et réduit l’écart au réel.
La production à partir de modèles se généralise rapidement.
Les exigences de traçabilité de l’origine se renforcent.
Les domaines à géométrie connue restent les mieux servis.
Et la valeur des données réelles décrites augmente à mesure.
Une observation importante en découle pour un projet de labellisation de données. La dernière évolution mérite d’être notée, un corpus réel soigneusement décrit devenant la référence rare face à des volumes produits abondants, ce qui inverse le rapport de valeur entre les deux ensembles.
Ce que la proportion des deux ensembles décide
Cinq observations orientent le dosage entre production et acquisition.
Une part produite majoritaire convient aux domaines à géométrie connue.
Une part réelle majoritaire convient aux domaines très variables.
Les catégories rares justifient une production ciblée quel que soit le dosage.
Le jeu d’évaluation reste réel dans tous les cas de figure.
Et l’ajustement final porte toujours sur des données acquises.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La troisième observation permet un dosage variable selon la catégorie plutôt qu’un ratio unique, une classe fréquente se passant de production pendant qu’une classe rare en bénéficie fortement, ce qui rend le dosage plus fin qu’une simple proportion globale.
Ce qu’il faut retenir
La description devient exacte et la représentativité devient le problème.
Trois lectures se dégagent. L’écart entre données produites et données réelles s’apprend sans que rien ne le signale, ce qui produit d’excellents résultats en simulation et un échec sur les premières données réelles. Un jeu d’évaluation doit provenir du monde réel quelle que soit la part synthétique du corpus, ce qui rend cette dépense incompressible. Et un générateur ne produit pas ce que personne n’a imaginé, ce qui laisse hors du corpus précisément les situations que l’usage réel révélera.
Pour les défauts et leurs effets, l’article consacré aux
erreurs de labellisation le détaille. Pour les conditions de travail, l’article sur l’
éthique de la labellisation l’expose.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous préparez un projet de labellisation,
échangeons sur votre besoin.
