Une consigne de labellisation ne se juge pas à sa précision mais à sa reproductibilité. Deux personnes qui la lisent doivent produire la même chose, et ce critère élimine la plupart des documents rédigés avec le plus grand soin.
Cet article expose cette rédaction. Il prolonge l’article consacré aux
exigences de sécurité.
Ce qui rend une consigne inapplicable
Cinq travers reviennent dans les référentiels de labellisation de données.
Une définition qui décrit l’objet sans dire quoi en faire.
Un terme admettant deux lectures selon le lecteur.
Un renvoi au bon sens plutôt qu’une décision explicite.
Une accumulation de règles qu’aucune mémoire ne retient.
Et des exemples portant uniquement sur les cas évidents.
Une conséquence pratique importante en découle. Le troisième travers est le plus répandu, une consigne demandant de faire preuve de discernement ne disant rien de vérifiable et laissant la règle à l’appréciation de chacun.
Ce que la définition d’une catégorie exige
Cinq éléments rendent une catégorie de labellisation de données utilisable.
Ce qu’elle inclut, énoncé de façon positive.
Ce qu’elle exclut, énoncé tout aussi explicitement.
Sa frontière avec la catégorie voisine la plus proche.
Un exemple typique et un contre-exemple proche.
Et la conduite à tenir lorsque l’appartenance reste douteuse.
Une observation importante en découle pour un projet de labellisation de données. Le deuxième élément manque presque toujours, une définition purement positive laissant chacun décider seul de ce qui tombe hors de la catégorie, ce qui produit des frontières différentes selon les opérateurs.
Ce que l’exemple transmet
Cinq propriétés distinguent un exemple d’une simple formulation écrite.
Il n’admet qu’une seule lecture possible.
Il se consulte en une seconde au cours du travail.
Il montre le cas limite au lieu de tenter de le décrire.
Il se compare directement au travail en cours.
Et il se transmet sans perte d’une personne à l’autre.
Une conséquence pratique s’ensuit. Ces cinq propriétés rendent quelques exemples plus efficaces que plusieurs pages, un contre-exemple annoté valant règle sans qu’aucune formulation ne vienne s’interposer.
Ce que le vocabulaire employé décide
Cinq précautions rendent une formulation reproductible.
Employer un terme unique pour désigner une même chose.
Éviter les adjectifs dont le seuil n’est pas défini.
Préférer une instruction à l’infinitif plutôt qu’une description.
Écrire les seuils en chiffres plutôt qu’en appréciations.
Et bannir les formulations qui supposent un jugement partagé.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La deuxième précaution élimine à elle seule une grande part des divergences, un adjectif comme important ou visible portant un seuil différent chez chaque lecteur, ce qui transforme une règle apparemment claire en source de dispersion.
Ce que la structure du document suppose
Cinq parties composent un référentiel de labellisation de données utilisable.
Le rappel de l’usage final auquel le corpus servira.
La définition de chaque catégorie avec ses exemples.
Les règles de description, illustrées plutôt que décrites.
Le catalogue des cas limites déjà tranchés.
Et la conduite à tenir devant un cas absent du catalogue.
Une observation en découle. La première partie se néglige souvent et change la qualité des arbitrages, un opérateur comprenant la destination de son travail tranchant bien mieux les cas nouveaux.
Ce que le test d’une consigne établit
Cinq observations découlent d’un référentiel éprouvé avant production.
Deux opérateurs traitent les mêmes données sans se concerter.
Les divergences constatées désignent les phrases à réécrire.
Les questions posées désignent les points purement absents.
Le temps passé révèle les règles trop coûteuses à appliquer.
Et les cas non prévus alimentent le catalogue dès le départ.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La troisième observation vaut autant que la deuxième, chaque question signalant un vide que la rédaction avait laissé sans qu’aucun désaccord n’en révèle l’existence.
Aborder la rédaction d’un référentiel
Cinq questions cadrent cette rédaction sur un projet de labellisation de données.
L’usage final est-il rappelé. Il guide les arbitrages.
Les exclusions sont-elles écrites. Elles manquent souvent.
Les règles sont-elles illustrées. Le texte seul ne suffit pas.
Le cas non prévu est-il traité. C’est le point manquant.
Et le document tient-il en peu de pages. Sinon il ne sera pas lu.
Ces cinq réponses déterminent l’applicabilité du référentiel. Les poser avant la production évite un document que personne n’ouvrira deux fois.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.
Une consigne se juge à ce qu’elle tranche, non à ce qu’elle décrit.
Trois constats la composent.
Un renvoi au discernement ne dit rien de vérifiable.
Une définition sans exclusions laisse chacun fixer sa frontière.
Et un contre-exemple vaut règle sans qu’aucune formulation ne s’interpose.
Ce constat prolonge les chapitres précédents, la plupart des divergences remontant à une phrase que personne n’avait jugée ambiguë.
Les erreurs les plus fréquentes
- Décrire l’objet au lieu de dire quoi en faire.
- Renvoyer au bon sens plutôt que trancher explicitement.
- Définir une catégorie sans écrire ce qu’elle exclut.
- Illustrer uniquement les cas évidents.
- Omettre la conduite à tenir devant un cas non prévu.
- Rédiger un document trop long pour être consulté.
- Négliger le rappel de l’usage final du corpus.
- Laisser un cas tranché oralement sans l’écrire.
- Figer le référentiel au démarrage sans le faire vivre.
- Diffuser une version corrigée sans signaler ce qui a changé.
Ce que la révision du référentiel impose
Cinq précautions accompagnent toute modification en cours de projet.
Dater la version et conserver toutes les précédentes.
Signaler explicitement ce qui vient de changer.
Préciser si les lots antérieurs sont concernés.
Prévenir tous les opérateurs de façon simultanée.
Et vérifier l’application du changement sur le lot suivant.
Une observation importante en découle pour un projet de labellisation de données. La troisième précaution évite un mélange coûteux, un référentiel modifié sans dire si l’ancien travail doit être repris produisant un corpus régi par deux conventions superposées, ce qui reproduit exactement le défaut que la révision voulait corriger.
Ce que le catalogue de cas devient
Cinq propriétés caractérisent cette partie du référentiel.
Il est vide au démarrage et s’enrichit chaque semaine.
Il grandit vite au début puis se stabilise progressivement.
Chaque entrée règle définitivement un cas déjà rencontré.
Il se consulte par cas plutôt que par thème.
Et il constitue à terme le coeur même du document.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La deuxième propriété donne un indicateur d’avancement précieux, un catalogue qui continue de croître au même rythme après plusieurs semaines signalant un cadrage initial insuffisant plutôt qu’un corpus particulièrement varié.
Trois décisions avant de rédiger
Trois décisions engagent un référentiel de labellisation de données.
Séparer les règles à mémoriser du catalogue destiné à la consultation.
Écrire les exclusions de chaque catégorie en même temps que sa définition.
Et prévoir dès le départ la conduite à tenir devant un cas non prévu.
Ces trois décisions coûtent une matinée, elles précèdent la première donnée traitée, et leur absence produit un document que les opérateurs cesseront d’ouvrir dès la deuxième semaine.
La question qui cadre la rédaction
Une question détermine la forme utile d’un référentiel de labellisation de données.
Le document servira-t-il à former ou à trancher pendant le travail.
Former suppose un texte suivi, expliquant l’usage final et la logique des règles, lu une fois au démarrage puis rarement rouvert.
Trancher suppose un catalogue consultable en quelques secondes, organisé par cas plutôt que par thème, ouvert plusieurs fois par jour.
Cette question relève du moment où le document est utilisé, elle se pose avant d’écrire la première ligne, et elle explique pourquoi un référentiel unique échoue régulièrement aux deux usages.
Trois vérifications sur un référentiel
Trois contrôles qualifient une consigne de labellisation de données.
La présence d’exclusions écrites pour chaque catégorie.
L’existence d’une conduite à tenir devant un cas non prévu.
Et la date de la dernière révision apportée au catalogue.
Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence technique, et leur absence indique un document qui produira des divergences que personne ne saura expliquer.
Ce que le prestataire apporte ici
Quatre apports distinguent un référentiel de labellisation de données professionnel.
Une première version rédigée avant la production plutôt qu’après coup.
Un catalogue alimenté par les remontées quotidiennes des opérateurs.
Un test du référentiel mené sur un lot avant de le figer.
Et une remise du document au client avec le corpus livré.
Une conséquence pratique importante en découle. Le dernier apport se néglige et vaut cher, un corpus livré sans son référentiel devenant inexploitable pour qui voudra l’étendre plus tard, ce qui transforme un document de travail interne en pièce livrable à part entière.
Ce que la remontée des opérateurs apporte
Cinq conditions rendent ce circuit efficace.
Un moyen simple de signaler un cas sans interrompre le travail.
Un délai de réponse court sur les cas remontés.
Une décision consignée par écrit plutôt qu’une réponse orale.
Une diffusion immédiate de cette décision à toute l’équipe.
Et un ajout systématique au catalogue des cas tranchés.
Une observation importante en découle pour un projet de labellisation de données. La deuxième condition détermine tout le reste, un opérateur qui attend plusieurs jours une réponse tranchant seul en attendant, ce qui produit un précédent que la décision ultérieure viendra contredire sans que personne ne reprenne le travail déjà fait.
Ce que le client doit fournir ici
Cinq éléments viennent du client plutôt que du prestataire.
La définition métier de chaque catégorie du référentiel.
Les cas qu’il sait déjà ambigus dans son propre domaine.
L’usage précis auquel le corpus se trouve destiné.
Le vocabulaire employé par ses équipes internes.
Et un interlocuteur capable de trancher rapidement un cas nouveau.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le dernier élément conditionne la vitesse du projet entier, un cas remonté sans destinataire identifié restant en suspens pendant que la production continue, ce qui rend la disponibilité d’un arbitre plus déterminante que la qualité du document initial.
Ce que ce chapitre laisse au suivant
Une consigne bien écrite se heurte à des usages qu’elle n’avait pas prévus.
Trois questions restent ouvertes en labellisation de données.
Ce qu’un modèle génératif demande comme travail humain.
Pourquoi la préférence remplace parfois la description.
Et comment juger une production dont il n’existe aucune réponse unique.
Ces trois questions relèvent de la labellisation pour l’IA générative, qui constitue l’objet du chapitre suivant.
Trois erreurs propres à la rédaction
Trois défauts de labellisation de données tiennent au référentiel lui-même.
Une règle formulée sans qu’aucun exemple ne l’illustre.
Un cas tranché oralement et jamais consigné par écrit.
Et un document dont la longueur décourage toute consultation.
Ces trois défauts ne se voient pas dans le document, ils se révèlent dans la dispersion des données produites, et leur point commun est de laisser une règle exister sans qu’elle soit réellement transmise.
Ce que la formation ajoute au document
Cinq apports ne passent pas par le texte écrit.
Le traitement commenté de quelques données devant l’opérateur.
La comparaison de son travail avec celui d’un relecteur.
La correction immédiate des toutes premières habitudes prises.
La découverte des cas limites directement en situation.
Et l’explication du raisonnement derrière chaque règle exigeante.
Une observation importante en découle pour un projet de labellisation de données. Le troisième apport justifie à lui seul cet accompagnement, une habitude corrigée le premier jour coûtant quelques minutes alors que la même habitude découverte trois semaines plus tard aura produit un biais sur plusieurs milliers d’éléments.
Ce que ce chapitre partage avec les précédents
Trois constats reviennent depuis le début du parcours.
Un exemple transmet une convention mieux qu’un paragraphe.
Une divergence entre opérateurs désigne le référentiel plutôt qu’une faute.
Et une règle non écrite se remplace par autant de règles que d’opérateurs.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Ces trois constats convergent tous vers le même travail, la rédaction du référentiel apparaissant après coup comme le point où se décidait la plus grande part de ce que les autres chapitres tentaient ensuite de mesurer ou de corriger.
Ce que ce sujet a de particulier
Quatre traits distinguent cette question des autres du parcours.
Elle coûte quelques jours et décide de plusieurs mois de travail.
Elle se juge sur la dispersion produite et non sur sa propre qualité.
Elle continue de s’écrire pendant toute la production.
Et personne ne la réclame explicitement dans un cahier des charges.
Une observation importante en découle pour un projet de labellisation de données. Le dernier trait explique sa fréquente absence, un client demandant des données décrites et non un référentiel, ce qui laisse au prestataire la responsabilité d’un travail que rien dans la commande ne rendait obligatoire.
Ce que le référentiel devient après le projet
Cinq usages lui survivent une fois le corpus livré.
Il permet d’étendre le corpus sans rompre sa cohérence.
Il explique à un tiers ce que les données livrées signifient.
Il sert de base à un projet voisin dans le même domaine.
Il documente des décisions que plus personne ne se rappelle.
Et il accélère considérablement la formation d’une nouvelle équipe.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le quatrième usage se révèle deux ou trois ans plus tard, une équipe renouvelée reprenant un corpus dont les conventions ne subsistent que dans ce document, ce qui en fait la pièce dont la valeur augmente à mesure que la mémoire du projet s’efface.
Trois questions à poser avant de figer une règle
Trois questions précèdent l’inscription d’une règle au référentiel.
Deux personnes la liraient-elles exactement de la même façon.
Un exemple suffirait-il à la remplacer entièrement.
Et un opérateur pourra-t-il l’appliquer sans avoir à réfléchir.
Ces trois questions se posent en une minute par règle, elles ne demandent aucune compétence particulière, et leur absence produit un document exact que personne ne parvient à appliquer de la même manière.
Ce que le référentiel change à l’économie du projet
Cinq effets se répercutent sur le budget en labellisation de données.
La cadence progresse dès que les cas cessent d’interrompre le travail.
Le taux de reprise diminue à mesure que les règles se stabilisent.
Le contrôle se concentre sur les points réellement ambigus.
La formation d’un opérateur supplémentaire raccourcit nettement.
Et le temps d’arbitrage côté client se réduit fortement.
Une observation importante en découle pour un projet de labellisation de données. Le dernier effet intéresse le client davantage que les autres, un référentiel abouti divisant le nombre de sollicitations qu’il reçoit, ce qui libère précisément la ressource dont la disponibilité conditionne tout le projet.
Ce que l’outil peut porter du référentiel
Cinq fonctions rapprochent la règle du geste en labellisation de données.
Un rappel de la convention affiché pendant le travail.
Un accès direct au catalogue depuis l’écran de production.
Un signalement de cas envoyé sans quitter la donnée traitée.
Une contrainte technique interdisant une saisie non conforme.
Et une liste déroulante limitant les catégories disponibles.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La quatrième fonction remplace avantageusement une règle écrite, un seuil imposé par l’outil se passant de toute mémorisation, ce qui montre qu’une partie du référentiel gagne à devenir une contrainte plutôt qu’une phrase.
Ce que le référentiel ne peut pas résoudre
Cinq difficultés subsistent quelle que soit la qualité du document.
Un cas réellement indécidable sur la donnée reste indécidable.
Une fatigue en fin de session dégrade l’application des règles.
Un usage final mal défini rend tout arbitrage arbitraire.
Une catégorie mal choisie au départ le reste jusqu’au bout.
Et un désaccord entre experts métier ne se tranche pas par écrit.
Une observation importante en découle pour un projet de labellisation de données. La première difficulté mérite d’être assumée plutôt que niée, un référentiel honnête pouvant prescrire de signaler un cas plutôt que de le trancher, ce qui vaut mieux qu’une règle inventée pour éviter d’admettre que la donnée ne dit rien.
Ce que ce chapitre suppose du prestataire
Cinq pratiques distinguent un référentiel vivant d’un document mort.
Écrire une première version avant que le client ne la demande.
Consigner chaque arbitrage plutôt que le transmettre oralement.
Relire le document lorsque la dispersion augmente.
Le livrer avec le corpus sans attendre qu’on le réclame.
Et signaler au client les points que son propre besoin laisse indéfinis.
Une conséquence pratique importante en découle. La deuxième pratique demande une discipline que rien n’impose, un arbitrage rendu en trois mots dans une conversation réglant le cas du jour sans rien régler pour la suite, ce qui explique que tant de projets répondent plusieurs fois à la même question.
Ce que la première semaine doit produire
Cinq résultats justifient un démarrage prudent.
Une dizaine de cas limites tranchés et consignés.
Un premier taux d’accord mesuré entre deux opérateurs.
Une liste des formulations que la relecture a révélées ambiguës.
Une version corrigée du référentiel diffusée à l’équipe.
Et une estimation réaliste de la cadence atteignable.
Une observation importante en découle pour un projet de labellisation de données. Ces cinq résultats valent mieux qu’un volume produit rapidement, une semaine consacrée à stabiliser les règles épargnant des reprises sur tout ce qui suit, ce qui rend un démarrage lent nettement plus rentable qu’un démarrage énergique.
Ce qu’il faut retenir
Un référentiel utile tranche des cas plutôt qu’il ne décrit des objets.
Trois lectures se dégagent. Un renvoi au discernement ne dit rien de vérifiable et laisse la règle à l’appréciation de chacun tout en donnant l’illusion d’avoir été écrite. Une définition sans exclusions explicites laisse chaque opérateur fixer seul sa frontière, ce qui produit des catégories différentes selon les personnes. Et un contre-exemple annoté vaut règle sans qu’aucune formulation ne vienne s’interposer, ce qui rend quelques exemples plus efficaces que plusieurs pages de texte.
Pour les usages génératifs, l’article consacré à la
labellisation pour l’IA générative le détaille. Pour la sélection des données, l’article sur l’
active learning l’expose.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous préparez un projet de labellisation,
échangeons sur votre besoin.
