Un dispositif d’assurance qualité se juge à une seule chose : ce qu’il rend visible et ce qu’il laisse passer. La plupart mesurent avec précision ce qui existe déjà dans le livrable et restent muets sur ce qui n’y figure pas.Cet article expose ce dispositif. Il prolonge l’article consacré au
coût de la labellisation.
Ce que le contrôle doit établir
Cinq questions structurent un dispositif de labellisation de données.La proportion d’éléments bien présents et pourtant non décrits.La proportion d’éléments décrits sans exister nulle part.La justesse des catégories effectivement attribuées.L’accord obtenu entre deux opérateurs sur les mêmes données.Et la cohérence du traitement réservé aux cas limites.Une conséquence pratique importante en découle. La première question est la plus coûteuse à mesurer et la plus utile, l’omission n’apparaissant que si quelqu’un reprend les mêmes données depuis le début.
Ce que la double description apporte
Cinq informations découlent d’un même lot de labellisation de données traité deux fois.Le taux d’éléments vus par un seul des deux opérateurs mobilisés.Le degré d’accord obtenu sur les éléments vus par les deux.Le biais propre à chacun des opérateurs mobilisés.La liste des cas où la consigne a été lue différemment.Et une estimation du taux d’omission sur le corpus entier.Une observation importante en découle pour un projet de labellisation de données. La quatrième information vaut souvent plus que les autres, chaque divergence désignant un point du référentiel à réécrire, ce qui transforme une mesure de contrôle en outil de cadrage.
Ce que le chiffre global masque
Cinq ventilations révèlent ce qu’un taux unique dissimule toujours.Par catégorie, en isolant tout particulièrement les catégories rares.Par opérateur, pour distinguer biais et dispersion.Par lot, pour repérer une source de données en particulier.Par difficulté, en séparant les cas courants des cas limites.Et par période, pour détecter une éventuelle dérive dans le temps.Une conséquence pratique s’ensuit. Ces cinq ventilations coûtent quelques minutes de calcul et changent la conclusion, un taux global excellent pouvant recouvrir un échec complet sur une population entière.
Ce que les deux erreurs opposées coûtent
Cinq différences séparent l’élément manqué de l’élément décrit à tort.L’élément manqué reste parfaitement invisible dans le livrable.L’élément en trop se repère au contraire d’un simple coup d’oeil.Le premier enseigne au système à ignorer ce qu’il devrait voir.Le second lui enseigne à voir ce qui n’existe pas.Et leur poids relatif dépend entièrement de l’usage prévu.Une conséquence pratique importante en découle pour un projet de labellisation de données. La dernière différence oriente tout le dispositif, une détection d’alerte souffrant surtout du premier défaut alors qu’un comptage souffre autant des deux, ce qui fait dépendre la couverture du contrôle du besoin plutôt que d’une règle générale.
Ce que l’échantillon d’audit exige
Cinq propriétés rendent un contrôle de labellisation de données défendable.Un tirage véritablement aléatoire plutôt qu’une sélection réfléchie.Une couverture de toutes les catégories, y compris les plus rares.Une représentation des cas difficiles proportionnelle au corpus.Une taille suffisante pour que les taux calculés signifient quelque chose.Et une description de référence produite de façon indépendante.Une observation en découle. La première propriété conditionne toutes les autres, un échantillon proposé par celui qu’on évalue portant nécessairement les données qu’il maîtrise le mieux.
Ce que le rapport doit contenir
Cinq éléments composent un rapport exploitable en labellisation de données.La fraction du corpus qui a été réellement et effectivement contrôlée.Le mode de tirage finalement retenu pour cet échantillon.Les taux ventilés par catégorie ainsi que par opérateur.Le taux d’omission mesuré de façon séparée.Et la liste des divergences de convention effectivement relevées.Une conséquence pratique importante en découle pour un projet de labellisation de données. Le deuxième élément manque presque toujours et conditionne la lecture des autres, un taux calculé sur un échantillon choisi n’ayant pas la même portée qu’un taux calculé sur un tirage aléatoire.
Aborder un dispositif qualité
Cinq questions cadrent un dispositif de labellisation de données.L’omission est-elle mesurée. Sinon le rapport est incomplet.Les taux sont-ils ventilés. Sinon ils masquent les échecs.Qui tire l’échantillon. Cela décide de sa portée.Quelle fraction est couverte. Elle conditionne la fiabilité.Et les divergences sont-elles exploitées. Elles corrigent le référentiel.Ces cinq réponses déterminent la valeur du dispositif. Les poser avant de le mettre en place évite un contrôle rassurant qui ne décrit rien.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.Un dispositif ne mesure jamais que ce qu’il sait voir.Trois constats la composent.L’omission n’apparaît qu’en reprenant les mêmes données.Un taux global excellent peut recouvrir un échec complet.Et chaque divergence désigne un point du référentiel à réécrire.Ce constat prolonge les chapitres précédents, la mesure devenant un outil de cadrage autant qu’un outil de vérification.
Les erreurs les plus fréquentes
- Juger un corpus sur un taux global sans ventilation.
- Mesurer l’accord sans mesurer l’omission.
- Laisser le producteur choisir l’échantillon d’audit.
- Confondre une divergence de convention et une erreur.
- Négliger les catégories rares dans le calcul.
- Contrôler en fin de projet plutôt que sur le premier lot.
- Ignorer les divergences plutôt que de les exploiter.
- Conclure sur un chiffre sans connaître sa population de calcul.
- Confier le contrôle à celui qui a produit le travail.
- Alléger le dispositif parce que les premiers lots étaient bons.
Ce que la fréquence du contrôle change
Cinq effets suivent le rythme auquel la mesure est conduite.Un contrôle mené en toute fin de projet ne permet plus aucune correction utile.Un contrôle mené sur le premier lot oriente encore le référentiel.Un contrôle régulier détecte les dérives avant qu’elles ne s’installent.Un contrôle rendu totalement permanent devient une charge disproportionnée.Et un contrôle trop espacé laisse s’accumuler des lots entiers à reprendre.Une observation importante en découle pour un projet de labellisation de données. Le deuxième effet vaut plusieurs fois le troisième, une mesure conduite sur les premières données corrigeant une convention avant qu’elle ne soit appliquée à tout le corpus, ce qui rend le calendrier du contrôle aussi déterminant que sa couverture.
Ce que le taux d’accord révèle sur l’équipe
Cinq lectures découlent d’un accord suivi dans le temps.Un accord faible dès le tout départ signale un référentiel incomplet.Un accord qui progresse signale une formation qui produit enfin ses effets.Un accord qui se dégrade signale une dérive ou bien un lot différent.Un accord élevé avec un taux d’omission fort signale un problème de méthode.Et un accord parfait sur un lot difficile signale une consigne trop permissive.Une conséquence pratique importante en découle pour un projet de labellisation de données. La quatrième lecture est la plus utile et la moins évidente, deux opérateurs pouvant s’accorder parfaitement sur ce qu’ils voient tout en manquant les mêmes éléments, ce qui montre qu’un accord élevé ne garantit jamais l’exhaustivité.
Trois décisions avant de mesurer
Trois décisions engagent un dispositif de labellisation de données.Mesurer l’omission séparément plutôt que de s’en remettre au seul accord.Ventiler les taux par catégorie dès le tout premier rapport.Et faire tirer l’échantillon par une autre partie que le producteur.Ces trois décisions coûtent quelques heures, elles précèdent le premier contrôle, et leur absence produit des rapports rassurants qui ne décrivent rien.
La question qui cadre le dispositif
Une question détermine la couverture du contrôle en labellisation de données.L’usage souffre-t-il davantage d’un élément manqué ou d’un élément décrit à tort.L’élément manqué, une alerte non déclenchée ou un inventaire incomplet, impose de mesurer l’omission avant toute autre chose et de payer le prix d’une double description.L’élément en trop, une alarme intempestive ou un décompte gonflé, se repère à la relecture et coûte nettement moins cher à contrôler.Cette question relève des conséquences du défaut et non de sa fréquence, elle se pose avant le premier contrôle, et elle décide de la part du budget consacrée à la mesure.
Trois vérifications sur un rapport qualité
Trois contrôles qualifient un rapport de labellisation de données.La présence d’un taux d’omission mesuré de façon parfaitement séparée.La ventilation des taux par catégorie ainsi que par opérateur.Et l’indication du mode de tirage finalement retenu pour l’échantillon.Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence technique, et leur absence indique un rapport dont le chiffre principal ne décrit pas ce qu’on croit.
Ce que le prestataire apporte ici
Quatre apports distinguent un contrôle de labellisation de données sérieux.Un taux d’omission mesuré puis publié plutôt que soigneusement passé sous silence.Des taux ventilés par catégorie, par opérateur ainsi que par lot.Un échantillon tiré au hasard et non proposé par le producteur.Et une exploitation des divergences pour corriger le référentiel.Une conséquence pratique importante en découle. Le premier apport dessert le prestataire en apparence, un taux d’omission publié faisant nécessairement moins bonne figure qu’un accord élevé, alors qu’il désigne la seule mesure que le client ne peut obtenir autrement et fonde une confiance qu’aucun taux flatteur ne construit.
Ce que la mesure coûte réellement
Cinq postes composent la dépense de contrôle.La double description d’une fraction du corpus.Le temps de calcul ainsi que de lecture des indicateurs.La relecture des cas signalés par la mesure.La reprise des éléments effectivement écartés.Et la rédaction du rapport finalement remis au client.Une observation importante en découle pour un projet de labellisation de données. Le premier poste explique presque tout l’écart entre deux dispositifs, mesurer l’omission supposant de traiter deux fois les mêmes données alors que tous les autres indicateurs se calculent sur le livrable existant, ce qui fait de cette seule décision le principal choix budgétaire du contrôle.
Ce que la mesure ne saura jamais dire
Cinq questions échappent à tout indicateur.Si la convention retenue convenait vraiment à l’usage prévu.Si le corpus couvre les situations que le système rencontrera.Si les catégories retenues correspondent au besoin réel du client.Si le seuil retenu n’a pas écarté ce qui comptait.Et si les données de départ étaient bien celles qu’il fallait.Une conséquence pratique importante en découle pour un projet de labellisation de données. Ces cinq questions relèvent du cadrage et non de l’exécution, un corpus parfaitement conforme à une convention inadaptée obtenant des taux excellents et restant inutilisable, ce qui montre qu’aucune mesure ne rattrape une décision prise avant la première donnée.
Ce que ce chapitre laisse au suivant
Un dispositif de contrôle suppose un accès aux données qu’il examine.Trois questions restent ouvertes en labellisation de données.Ce qu’une donnée sensible impose comme précautions.Pourquoi une certification ne garantit pas à elle seule la sécurité.Et comment vérifier ce qu’un prestataire affirme sur ce point.Ces trois questions relèvent des exigences de sécurité, qui constituent l’objet du chapitre suivant.
Trois erreurs propres à la mesure
Trois défauts de labellisation de données tiennent au dispositif lui-même.Un accord mesuré sans qu’aucune omission ne soit comptée.Un taux global publié sans la moindre ventilation.Et un échantillon d’audit proposé par celui qu’on évalue.Ces trois défauts produisent des rapports parfaitement présentables, ils se révèlent au moment où le corpus sert, et leur point commun est de porter sur la façon de compter plutôt que sur le travail compté.
Ce que le client doit préciser ici
Cinq informations viennent du client plutôt que du prestataire.Le type d’erreur qui lui coûte le plus cher dans son usage.Les catégories dont la justesse importe davantage que les autres.Le seuil d’acceptation précis au-delà duquel un lot est refusé.La couverture de contrôle qu’il souhaite financer.Et la partie qui tirera effectivement l’échantillon d’audit.Une observation importante en découle pour un projet de labellisation de données. La première information réoriente tout le dispositif, un client indifférent aux éléments en trop et sensible aux omissions justifiant une double description coûteuse plutôt qu’une relecture rapide, ce qui rend cette réponse plus structurante que le budget annoncé.
Ce que l’opérateur doit savoir ici
Cinq connaissances aident l’équipe à travailler avec la mesure.Le sens exact des indicateurs qui sont calculés sur son travail.Le seuil précis en deçà duquel un élément est repris.La différence entre une divergence de convention et une erreur.L’intérêt de signaler un cas plutôt que d’attendre le contrôle.Et la finalité même du dispositif, qui n’est jamais de sanctionner.Une conséquence pratique importante en découle pour un projet de labellisation de données. La troisième connaissance change le rapport au contrôle, un opérateur comprenant qu’une divergence désigne une consigne floue plutôt qu’une faute personnelle acceptant nettement mieux la relecture, ce qui rend la mesure utile au lieu de la rendre menaçante.
Ce que ce chapitre partage avec les précédents
Trois constats reviennent depuis le début du parcours.Un chiffre global masque toujours un échec sur une population.Le défaut dominant reste absent du livrable lui-même.Et une divergence entre opérateurs désigne le référentiel plutôt qu’une faute.Une observation importante en découle pour un projet de labellisation de données. Le troisième constat trouve ici son emploi le plus direct, chaque divergence relevée pendant la mesure fournissant une correction gratuite du référentiel, ce qui fait du contrôle un dispositif de cadrage autant qu’un dispositif de vérification.
Ce que ce sujet a de particulier
Quatre traits distinguent cette question des autres du parcours.Elle produit le chiffre sur lequel tout le monde décidera.Elle se conduit après le travail et non pendant.Elle peut être bien menée et rester muette sur l’essentiel.Et elle inspire une confiance que sa portée ne justifie pas toujours.Une conséquence pratique importante en découle pour un projet de labellisation de données. Le dernier trait explique la place de ce chapitre, un chiffre publié acquérant une autorité que son mode de calcul ne mérite pas nécessairement, ce qui rend la lecture critique d’un rapport aussi importante que sa production.
Ce que la comparaison entre corpus suppose
Cinq conditions rendent deux corpus de labellisation de données comparables.Une même convention de description appliquée aux deux.Un même seuil décidant ce qui est décrit et ce qui ne l’est pas.Une même règle pour les éléments partiellement observables.Un même mode de tirage des échantillons de contrôle.Et une même définition des indicateurs publiés.Une observation importante en découle pour un projet de labellisation de données. Ces cinq conditions sont rarement réunies et jamais vérifiées, deux corpus produits par des équipes différentes affichant des taux d’apparence comparable sans que rien n’autorise à les rapprocher, ce qui rend la comparaison entre prestataires bien plus fragile qu’elle n’en a l’air.
Ce que le contrat doit prévoir ici
Cinq clauses méritent d’être écrites avant le démarrage.Les indicateurs finalement retenus ainsi que leur mode de calcul.Le seuil d’acceptation tel qu’appliqué lot par lot.La fraction du corpus soumise au contrôle.La partie qui procède au tirage de l’échantillon d’audit.Et le traitement des reprises imputables à un changement de référentiel.Une conséquence pratique importante en découle pour un projet de labellisation de données. La quatrième clause évite le désaccord le plus embarrassant, un litige survenant après coup sur la représentativité de l’échantillon ne se tranchant par aucune règle si rien n’a été écrit, ce qui laisse chacun soupçonner l’autre sans qu’aucun ait mal agi.
Trois questions à poser devant un taux annoncé
Trois questions précèdent toute conclusion sur un chiffre de qualité.Sur quelle population ce taux a-t-il été calculé.L’omission a-t-elle été comptée ou seulement l’accord.Et qui a choisi les données de l’échantillon.Ces trois questions se posent en une minute, elles ne demandent aucune compétence technique, et leur absence conduit à décider sur un chiffre dont personne ne connaît la portée.
Ce que ce chapitre suppose du prestataire
Cinq pratiques distinguent un contrôle honnête d’un contrôle décoratif.Publier le taux le moins flatteur plutôt que le plus présentable.Accepter que le client tire lui-même l’échantillon d’audit.Ventiler les taux même lorsque la ventilation dessert le résultat.Signaler une dérive avant qu’elle ne soit constatée par le client.Et maintenir la couverture du contrôle quand le calendrier se tend.Une conséquence pratique importante en découle. La dernière pratique se sacrifie la première sous la pression, un contrôle allégé pour tenir un délai produisant un livrable qui passe la réception, ce qui déplace simplement le problème vers un moment où plus personne ne pourra l’attribuer à cette décision.
Ce que le premier lot doit établir
Cinq résultats justifient un contrôle dès le démarrage.Le taux d’accord initial obtenu entre deux opérateurs.La liste complète des cas que le référentiel ne tranchait pas.Le taux d’omission mesuré sur un échantillon entièrement repris.La dispersion observée entre les tout premiers lots produits.Et le temps réel que le contrôle lui-même vient consommer.Une observation importante en découle pour un projet de labellisation de données. Le dernier résultat sert à dimensionner tout le reste du projet, un contrôle dont le coût réel se révèle double de l’estimation obligeant à choisir entre réduire sa couverture et réviser le budget, ce qui vaut mieux d’être tranché au premier lot qu’au dernier.
Ce qu’il faut retenir
Un dispositif qualité vaut par ce qu’il compte et par ce qu’il ignore.Trois lectures se dégagent. L’omission n’apparaît qu’en reprenant les mêmes données depuis le début, ce qui en fait la mesure la plus coûteuse et la plus utile d’un dispositif. Un taux global excellent peut recouvrir un échec complet sur une population entière, ce qui rend la ventilation plus informative que le taux lui-même. Et chaque divergence entre opérateurs désigne un point du référentiel à réécrire, ce qui transforme une mesure de contrôle en outil de cadrage.Pour la sécurité des données, l’article consacré aux
exigences de sécurité le détaille. Pour la rédaction du référentiel, l’article sur les
consignes de labellisation l’expose.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous préparez un projet de labellisation,
échangeons sur votre besoin.
