Décrire ce qu’une donnée contient et juger ce qu’un modèle a produit sont deux travaux distincts. Le second n’admet pas de réponse unique, ce qui déplace le référentiel d’une description vers un jugement et modifie tout ce que les chapitres précédents ont établi.
Cet article expose ce déplacement. Il prolonge l’article consacré aux
consignes de labellisation.
Ce que ces usages demandent
Cinq travaux humains alimentent un modèle génératif en labellisation de données.
La rédaction de réponses servant ensuite d’exemples de référence.
Le classement de deux productions données par ordre de préférence.
La notation d’une production selon plusieurs critères distincts.
Le signalement de contenus problématiques ou bien dangereux.
Et la correction d’une production afin de la rendre acceptable.
Une conséquence pratique importante en découle. Le deuxième travail domine les usages actuels, une comparaison entre deux réponses se rendant bien plus vite et plus fiablement qu’une note absolue.
Ce que la préférence change
Cinq différences séparent un classement d’une description en labellisation de données.
Il n’existe aucune bonne réponse unique à retrouver.
Deux évaluateurs peuvent diverger sans qu’aucun ait tort.
Le jugement dépend de critères qui sont parfois contradictoires.
La cohérence d’un même évaluateur devient l’indicateur central.
Et la mesure d’accord perd ici une partie de son sens habituel.
Une observation importante en découle pour un projet de labellisation de données. La quatrième différence remplace le dispositif décrit aux chapitres précédents, un évaluateur se contredisant lui-même sur des cas identiques signalant un problème que nul désaccord entre personnes ne révélerait.
Ce que le référentiel doit fixer ici
Cinq points se décident avant toute évaluation de productions générées.
Les critères précis sur lesquels une production se juge.
Leur ordre de priorité en cas de conflit entre eux.
Le traitement réservé aux productions également satisfaisantes.
La conduite à tenir devant un contenu manifestement problématique.
Et la conduite à tenir lorsque les deux réponses sont mauvaises.
Une conséquence pratique s’ensuit. Le deuxième point manque presque toujours, une production exacte mais mal formulée devant être comparée à une production agréable mais approximative sans qu’aucune règle ne tranche.
Ce que les biais d’évaluation produisent
Cinq penchants faussent systématiquement un classement.
La préférence spontanée accordée à la réponse la plus longue.
La préférence pour un ton assuré indépendamment du contenu.
La préférence accordée à une mise en forme soignée.
La tendance à choisir systématiquement la première réponse présentée.
Et l’indulgence croissante au fil d’une session un peu longue.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Ces cinq penchants agissent tous dans le même sens et ne se compensent pas entre eux, ce qui produit un signal orienté vers la forme plutôt que vers l’exactitude et enseigne au modèle exactement ce que l’on cherchait à éviter.
Ce que la mesure devient ici
Cinq indicateurs décrivent la qualité d’un tel travail de labellisation de données.
La cohérence d’un évaluateur confronté deux fois au même cas exact.
L’accord obtenu entre évaluateurs sur les cas les plus tranchés.
La proportion de comparaisons finalement déclarées équivalentes.
Le temps moyen consacré à une comparaison.
Et la répartition des préférences selon le critère invoqué.
Une observation en découle. Le premier indicateur devient central, un évaluateur incohérent avec lui-même produisant un signal que rien ne distingue du bruit, ce qui rend cette mesure plus utile que l’accord interpersonnel.
Ce que ces usages exigent des évaluateurs
Cinq compétences distinguent ce travail de la description ordinaire.
La lecture attentive de deux productions parfois longues.
La capacité à appliquer plusieurs critères simultanément.
La résistance à la préférence pour la réponse la plus longue.
La détection d’une affirmation fausse mais bien formulée.
Et une connaissance suffisante du domaine effectivement traité.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La quatrième compétence sépare un évaluateur utile d’un évaluateur rapide, une réponse assurée et fausse étant préférée par défaut à une réponse hésitante et exacte.
Aborder un projet génératif
Cinq questions cadrent un tel projet de labellisation de données.
Les critères sont-ils écrits. Sinon chacun invente les siens.
Leur priorité est-elle fixée. Les conflits sont fréquents.
La cohérence est-elle mesurée. Elle remplace l’accord.
Le domaine exige-t-il une expertise. Souvent oui.
Et l’équivalence est-elle permise. Sinon elle sera forcée.
Ces cinq réponses déterminent la valeur du signal produit. Les poser avant la production évite un corpus de préférences que rien n’explique.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.
Le référentiel passe d’une description à un jugement.
Trois constats la composent.
Deux évaluateurs peuvent diverger sans qu’aucun ait tort.
La cohérence individuelle remplace l’accord interpersonnel.
Et une réponse assurée et fausse est préférée par défaut.
Ce constat prolonge les chapitres précédents, le dispositif de mesure devant être entièrement repensé.
Les erreurs les plus fréquentes
- Appliquer les indicateurs d’accord conçus pour la description.
- Omettre l’ordre de priorité entre critères contradictoires.
- Interdire de déclarer deux productions équivalentes.
- Confier une évaluation spécialisée à des évaluateurs généralistes.
- Négliger la préférence spontanée pour les réponses longues.
- Mesurer l’accord sans mesurer la cohérence individuelle.
- Traiter une divergence légitime comme une erreur.
- Omettre la conduite à tenir devant deux mauvaises réponses.
- Chiffrer ce travail à la cadence d’une description simple.
- Supposer qu’un évaluateur détecte une erreur factuelle bien formulée.
Ce que le dispositif doit corriger
Cinq mesures limitent les biais décrits plus haut.
L’alternance strictement aléatoire de l’ordre des deux productions.
La présentation de paires de longueurs comparables.
La réinsertion de cas déjà évalués pour mesurer la cohérence.
Une limitation stricte de la durée de chaque session.
Et l’obligation de justifier brièvement chaque choix.
Une observation importante en découle pour un projet de labellisation de données. La dernière mesure agit le plus efficacement, un évaluateur devant nommer le critère qui a emporté sa décision découvrant lui-même qu’il a préféré une réponse pour sa longueur, ce qui corrige un biais que nul contrôle extérieur n’aurait détecté.
Ce que la rédaction d’exemples exige
Cinq contraintes encadrent la production de réponses de référence.
Une exactitude vérifiable sur l’ensemble des faits énoncés.
Un ton et un format conformes au comportement attendu.
Une longueur strictement proportionnée à la question posée.
Un refus explicite lorsque la demande ne doit pas aboutir.
Et une originalité suffisante pour ne pas recopier une source.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La première contrainte rend ce travail bien plus lent qu’il n’y paraît, un rédacteur devant vérifier chaque affirmation qu’il produit, ce qui rapproche la cadence de celle d’une rédaction documentée plutôt que d’une simple description.
Trois décisions avant de lancer une évaluation
Trois décisions engagent un projet de labellisation de données génératif.
Écrire les critères et leur ordre de priorité avant la première paire.
Autoriser explicitement la déclaration d’équivalence.
Et prévoir la réinsertion de cas déjà vus pour mesurer la cohérence.
Ces trois décisions coûtent une demi-journée, elles précèdent toute production, et leur absence produit un signal que personne ne saura interpréter ensuite.
La question qui cadre le projet
Une question détermine la nature du travail en labellisation de données générative.
Cherche-t-on à établir ce qui est exact ou ce qui est préférable.
Ce qui est exact, une réponse factuelle vérifiable, se traite comme une description ordinaire et supporte les indicateurs d’accord habituels.
Ce qui est préférable, un ton, une longueur ou un équilibre entre critères, relève du jugement et exige un dispositif entièrement différent.
Cette question relève de ce que le modèle doit apprendre, elle se pose avant toute conception de tâches, et elle sépare deux projets que rien ne permet de conduire de la même manière.
Trois vérifications sur un corpus de préférences
Trois contrôles qualifient un tel corpus de labellisation de données.
La présence d’une mesure de cohérence individuelle.
L’existence de critères écrits avec leur ordre de priorité.
Et la proportion de comparaisons déclarées équivalentes.
Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence technique, et leur absence indique un corpus de préférences dont personne ne connaît la logique.
Ce que le prestataire apporte ici
Quatre apports distinguent une prestation générative sérieuse.
Un référentiel de critères hiérarchisés plutôt qu’une simple liste.
Un dispositif limitant les biais de longueur et de position.
Une mesure de cohérence individuelle publiée avec le corpus.
Et des évaluateurs choisis pour leur connaissance réelle du domaine.
Une conséquence pratique importante en découle. Le deuxième apport ne se voit pas dans le livrable et change tout ce qu’il contient, un corpus produit sans alternance d’ordre portant une préférence systématique pour la première réponse, ce qui enseigne au modèle une règle que personne n’a voulu lui transmettre.
Ce que le signalement de contenus impose
Cinq précautions encadrent ce type de tâche.
Une définition écrite et précise de ce qui doit être signalé.
Une exposition limitée en durée pour chaque évaluateur.
Un consentement éclairé avant toute affectation à cette tâche.
Une possibilité de se retirer de la tâche sans conséquence.
Et un accompagnement disponible pour les personnes concernées.
Une observation importante en découle pour un projet de labellisation de données. Ces cinq précautions relèvent de la responsabilité de l’employeur autant que de la qualité du travail, une exposition répétée à des contenus difficiles ayant des effets que ni le référentiel ni le contrôle ne mesurent, ce qui rend ce point non négociable indépendamment du budget.
Ce que ce chapitre laisse au suivant
Toute cette discussion suppose de savoir quelles données évaluer.
Trois questions restent ouvertes en labellisation de données.
Comment choisir les données qui apprendront le plus au modèle.
Pourquoi un tirage aléatoire gaspille une part du budget.
Et ce qu’une sélection guidée par le modèle fait perdre.
Ces trois questions relèvent de l’active learning, qui constitue l’objet du chapitre suivant.
Trois erreurs propres aux usages génératifs
Trois défauts de labellisation de données tiennent à ce type de travail.
Un dispositif de mesure repris tel quel de la description ordinaire.
Une interdiction implicite de déclarer deux productions équivalentes.
Et une évaluation spécialisée confiée à des évaluateurs généralistes.
Ces trois défauts produisent un corpus de préférences d’apparence complète, ils se révèlent dans le comportement du modèle qui en résulte, et leur point commun est de transporter dans un travail de jugement des habitudes conçues pour un travail de description.
Ce que le client doit trancher ici
Cinq décisions appartiennent au client plutôt qu’au prestataire.
Les critères précis sur lesquels une production sera jugée.
Leur ordre de priorité en cas de conflit entre eux.
Le comportement attendu face à une demande problématique.
Le niveau d’expertise réellement requis chez les évaluateurs.
Et le degré de tolérance accordé à une divergence légitime.
Une observation importante en découle pour un projet de labellisation de données. La deuxième décision se néglige presque toujours et façonne le modèle plus que toutes les autres, un arbitrage entre exactitude et agrément laissé implicite se tranchant différemment chez chaque évaluateur, ce qui produit un signal moyen qui ne correspond à aucune intention.
Ce que ce chapitre partage avec les précédents
Trois constats reviennent depuis le début du parcours.
Une règle non écrite se remplace par autant de règles que de personnes.
Un indicateur ne mesure jamais que ce qu’il sait voir.
Et le défaut le plus coûteux reste celui que rien ne signale.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le deuxième constat prend ici une forme nouvelle, un taux d’accord élevé pouvant refléter des biais partagés plutôt qu’un jugement fondé, ce qui rend cet indicateur trompeur là où il paraissait le plus naturel à employer.
Ce que ce sujet a de particulier
Quatre traits distinguent cette question des autres du parcours.
Elle porte sur un jugement plutôt que sur une observation.
Elle prive le dispositif habituel de son indicateur principal.
Elle expose parfois les évaluateurs à des contenus difficiles.
Et elle façonne un comportement plutôt qu’une capacité de détection.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le dernier trait élève l’enjeu de ce travail, un corpus de préférences déterminant la manière dont un système répondra à des millions de personnes, ce qui justifie une exigence de méthode supérieure à celle d’une description ordinaire.
Ce que le premier lot doit établir
Cinq mesures orientent la suite du projet.
Le taux de cohérence d’un évaluateur mesuré sur des cas répétés.
La proportion de paires jugées équivalentes.
Le temps réel consacré à une seule comparaison.
La liste des conflits entre critères effectivement rencontrés.
Et la corrélation entre préférence exprimée et longueur des réponses.
Une observation importante en découle pour un projet de labellisation de données. La dernière mesure se calcule en quelques minutes et révèle l’essentiel, une préférence corrélée à la longueur signalant que le dispositif capte la forme au lieu du fond, ce qui invalide le corpus bien avant que le modèle n’en révèle l’effet.
Ce que la correction d’une production demande
Cinq exigences encadrent ce type de tâche.
Une modification aussi minimale que possible plutôt qu’une réécriture complète.
Un motif de correction consigné pour chacune des interventions.
Le respect du ton ainsi que du format d’origine.
Une vérification systématique des faits ajoutés lors de la correction.
Et une distinction entre erreur factuelle et préférence de style.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La première exigence détermine l’utilité du signal produit, une réécriture complète ne disant plus rien de ce qui posait problème dans la production initiale, ce qui transforme une correction exploitable en un simple nouvel exemple.
Trois questions à poser avant de chiffrer
Trois questions précèdent un devis de labellisation de données générative.
Quels critères et quel ordre de priorité s’appliqueront.
Quel niveau d’expertise le domaine exige-t-il des évaluateurs.
Et la tâche expose-t-elle à des contenus difficiles.
Ces trois questions se posent avant tout chiffrage, elles ne demandent aucune compétence technique, et leur absence conduit à s’engager sur une cadence qui ne correspond à rien.
Ce que ce chapitre suppose du prestataire
Cinq pratiques distinguent un travail génératif sérieux.
Signaler au client les conflits entre critères que son référentiel laisse ouverts.
Mettre en place l’alternance d’ordre sans attendre qu’on la demande.
Publier la cohérence individuelle plutôt que le seul accord.
Limiter l’exposition aux contenus difficiles même sans obligation.
Et refuser une évaluation spécialisée faute d’évaluateurs compétents.
Une conséquence pratique importante en découle. La première pratique renvoie au client un travail qu’il croyait avoir terminé, un référentiel énumérant des critères sans les hiérarchiser laissant l’arbitrage le plus important à des évaluateurs qui n’ont pas qualité pour le rendre.
Ce que ces usages changent à l’économie
Cinq effets distinguent le budget d’un projet génératif.
La cadence chute nettement, une comparaison exigeant deux lectures complètes.
Le niveau d’expertise requis élève sensiblement le coût horaire.
La réinsertion de cas répétés ajoute un volume improductif en apparence.
La durée limitée des sessions réduit la production quotidienne.
Et le cadrage des critères occupe une place tout à fait inhabituelle.
Une observation importante en découle pour un projet de labellisation de données. Le troisième effet se supprime facilement et se paie ensuite, une réinsertion de cas coûtant quelques pourcents du volume alors qu’elle fournit le seul indicateur capable de qualifier le corpus produit.
Ce que la divergence légitime impose de prévoir
Cinq dispositions traitent un désaccord qui n’est pas une erreur.
Une distinction écrite entre divergence acceptable et erreur.
Un seuil de désaccord au-delà duquel un cas remonte pour arbitrage.
Une conservation des deux jugements plutôt qu’un arbitrage forcé.
Une analyse périodique portant sur les cas les plus disputés.
Et une révision des critères dès lors que le désaccord se répète.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La troisième disposition surprend et vaut mieux que l’alternative, un désaccord conservé signalant une zone où le comportement attendu reste indéterminé, ce qui informe davantage qu’une préférence tranchée arbitrairement pour produire un chiffre unique.
Ce que ces usages ne changent pas
Cinq constats du parcours restent intacts ici.
Le référentiel doit être écrit avant la toute première évaluation.
Un cas non prévu remonte plutôt qu’il ne se tranche seul.
Une mesure globale masque toujours un échec sur une population.
La documentation conditionne entièrement la valeur future du corpus.
Et le cadrage pèse davantage que la vitesse d’exécution.
Une observation importante en découle pour un projet de labellisation de données. Ces cinq constats se vérifient d’autant plus nettement que le travail devient subjectif, l’absence de bonne réponse rendant la convention écrite non pas moins nécessaire mais entièrement déterminante.
Ce que ce travail devient
Cinq évolutions se dessinent pour ces usages.
Une part croissante de l’évaluation confiée directement à des modèles.
Un recentrage humain sur les cas que ces modèles tranchent mal.
Une exigence d’expertise métier de plus en plus nettement marquée.
Une attention accrue portée aux conditions de travail des évaluateurs.
Et une documentation des critères devenue une pièce systématiquement exigée.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La première évolution reproduit exactement le mécanisme décrit au sujet de la pré-annotation, un modèle évaluant selon ses propres biais confirmant ce qu’il sait déjà faire, ce qui rend le contrôle humain plus nécessaire à mesure que l’automatisation progresse.
Ce qu’il faut retenir
Le travail passe de la description d’une donnée au jugement d’une production.
Trois lectures se dégagent. Deux évaluateurs peuvent diverger sans qu’aucun ait tort, ce qui prive le dispositif habituel de son indicateur principal. La cohérence d’un même évaluateur remplace l’accord interpersonnel, un évaluateur se contredisant lui-même produisant un signal que rien ne distingue du bruit. Et une réponse assurée et fausse est préférée par défaut à une réponse hésitante et exacte, ce qui rend la détection d’une erreur bien formulée plus déterminante que la vitesse d’évaluation.
Pour la sélection des données, l’article consacré à l’
active learning le détaille. Pour les données produites artificiellement, l’article sur les
données synthétiques l’expose.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous préparez un projet de labellisation,
échangeons sur votre besoin.
