Un budget de labellisation se dépense sur des données choisies. Le tirage aléatoire, qui reste la pratique courante, consacre l’essentiel de ce budget à décrire des situations que le modèle traite déjà correctement.
Cet article expose cette sélection. Il prolonge l’article consacré à la
labellisation pour l’IA générative.
Ce que le tirage aléatoire produit
Cinq effets accompagnent une sélection sans critère en labellisation de données.
La composition du corpus reproduit exactement celle des données disponibles.
Les situations les plus courantes occupent la majorité du volume.
Les cas rares n’apparaissent qu’en proportion de leur fréquence.
Le budget se dépense largement sur des cas déjà maîtrisés.
Et la progression du modèle ralentit à mesure que le volume croît.
Une conséquence pratique importante en découle. Le troisième effet limite sévèrement le résultat, une classe présente dans un cas sur mille n’obtenant qu’une poignée d’exemples dans un corpus pourtant considérable.
Ce que la sélection guidée change
Cinq critères orientent le choix des données à décrire en labellisation de données.
L’incertitude du modèle portant sur une donnée précise.
Le désaccord entre plusieurs modèles portant sur la même donnée.
La proximité avec des cas antérieurement mal traités.
La distance par rapport aux données déjà décrites.
Et l’appartenance à une catégorie visiblement sous-représentée.
Une observation importante en découle pour un projet de labellisation de données. Le premier critère domine les usages, une incertitude élevée désignant précisément les données dont la description apprendra le plus au modèle.
Ce que cette approche fait gagner
Cinq bénéfices accompagnent une sélection raisonnée des données.
Un même niveau de performance atteint avec bien moins de données.
Une progression nettement plus rapide dans les premières itérations.
Une couverture nettement accrue des cas difficiles du domaine.
Une détection précoce des catégories mal définies.
Et un budget entièrement concentré sur ce qui manque réellement.
Une conséquence pratique s’ensuit. Le quatrième bénéfice se remarque peu et vaut beaucoup, les données que le modèle trouve incertaines révélant souvent une frontière de catégorie que le référentiel avait mal tranchée.
Ce que cette approche fait perdre
Cinq contreparties accompagnent une sélection guidée.
Le corpus cesse de représenter la distribution réelle des données.
Les cas difficiles s’accumulent au détriment de la variété générale.
La sélection hérite de tous les angles morts du modèle courant.
Le jeu d’évaluation doit rester tiré au hasard.
Et la mise en oeuvre demande une véritable infrastructure itérative.
Une observation en découle. La troisième contrepartie est la plus grave, un modèle ignorant une catégorie ne la trouvera jamais incertaine et ne demandera donc jamais qu’on la lui montre.
Ce que l’incertitude signale réellement
Cinq situations produisent une incertitude élevée du modèle.
Un cas véritablement difficile pour n’importe quel observateur humain.
Une catégorie que le référentiel définissait particulièrement mal.
Une donnée dégradée dont la mauvaise qualité empêche toute décision.
Une situation absente du corpus d’entraînement initial.
Et un simple défaut de calibration affectant le modèle employé.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Ces cinq situations appellent des réponses opposées, la première justifiant d’annoter davantage pendant que la troisième justifie d’écarter la donnée, ce qui rend l’examen des cas sélectionnés plus instructif que le critère lui-même.
Ce que le cycle itératif suppose
Cinq étapes composent une boucle complète de labellisation de données.
Un premier lot tiré au hasard servant de base initiale.
Un entraînement produisant un premier modèle intermédiaire.
Une sélection des données opérée par le critère finalement retenu.
Une description de ce lot confiée aux opérateurs.
Et une évaluation sur un jeu indépendant avant l’itération suivante.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La dernière étape se néglige facilement et invalide tout le reste, un cycle conduit sans mesure indépendante ne permettant plus de savoir si la sélection améliore ou dégrade le résultat.
Aborder une sélection guidée
Cinq questions cadrent une telle sélection en labellisation de données.
Le jeu d’évaluation reste-t-il aléatoire. Sinon rien n’est mesurable.
Le critère est-il adapté au besoin. L’incertitude ne suffit pas toujours.
Les angles morts sont-ils traités. Le modèle ne les signale pas.
La boucle est-elle réellement itérative. Une passe unique n’apporte rien.
Et le lot initial est-il suffisant. Un modèle faible sélectionne mal.
Ces cinq réponses déterminent l’utilité de l’approche. Les poser avant de lancer évite un corpus déséquilibré sans gain mesurable.
Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen.
Le modèle ne peut demander que ce qu’il sait déjà mal traiter.
Trois constats la composent.
Un tirage aléatoire dépense l’essentiel du budget sur des cas maîtrisés.
Une incertitude élevée désigne les données les plus instructives.
Et une catégorie ignorée ne sera jamais jugée incertaine.
Ce constat prolonge les chapitres précédents, la sélection reproduisant le mécanisme déjà décrit pour la pré-annotation.
Les erreurs les plus fréquentes
- Sélectionner le jeu d’évaluation par le même critère que l’entraînement.
- Conduire une seule passe plutôt qu’une boucle itérative.
- Lancer la sélection à partir d’un modèle initial trop faible.
- Négliger les catégories que le modèle ignore entièrement.
- Confondre incertitude du modèle et difficulté réelle du cas.
- Oublier que le corpus obtenu ne représente plus la distribution.
- Mesurer le gain sans jeu d’évaluation indépendant.
- Appliquer cette approche à un corpus trop petit pour en tirer parti.
- Sélectionner uniquement les cas difficiles jusqu’à saturation.
- Supposer que le gain observé sur un domaine se transpose.
Ce que cette approche change à l’organisation
Cinq contraintes pèsent sur le déroulement du projet.
La production s’organise par lots plutôt qu’en continu.
Des périodes d’attente séparent deux lots successifs.
L’équipe doit rester disponible entre deux itérations.
Le volume total ne se connaît pas au démarrage.
Et la coordination avec l’équipe technique devient quotidienne.
Une observation importante en découle pour un projet de labellisation de données. La troisième contrainte se néglige au chiffrage et coûte cher, une équipe formée devant être maintenue pendant les périodes d’entraînement sans produire, ce qui annule une part du gain que la réduction de volume laissait espérer.
Ce que le lot initial détermine
Cinq propriétés rendent un premier lot exploitable.
Un tirage aléatoire préservant la distribution réelle.
Une couverture de toutes les catégories du référentiel.
Un volume suffisant pour entraîner un premier modèle.
Une inclusion délibérée des situations les plus difficiles.
Et une qualité contrôlée avant tout entraînement.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La deuxième propriété conditionne toute la suite, une catégorie absente du lot initial restant invisible au modèle qui guidera la sélection, ce qui la condamne à ne jamais figurer dans le corpus final.
Trois décisions avant de guider la sélection
Trois décisions engagent une sélection guidée en labellisation de données.
Constituer un jeu d’évaluation tiré au hasard et le tenir à part.
Couvrir toutes les catégories dans le lot initial.
Et prévoir une part de tirage aléatoire à chaque itération.
Ces trois décisions coûtent quelques jours, elles précèdent la première boucle, et leur absence produit un corpus déséquilibré dont personne ne saura mesurer l’apport.
La question qui cadre la sélection
Une question détermine l’intérêt de cette approche en labellisation de données.
Le corpus doit-il représenter le monde ou corriger un modèle.
Représenter le monde, servir de référence ou d’évaluation, exige un tirage aléatoire dont aucune sélection guidée ne peut tenir lieu.
Corriger un modèle, combler ce qu’il traite mal, justifie une sélection guidée et accepte le déséquilibre qu’elle produit.
Cette question relève de la destination du corpus, elle se pose avant la première itération, et elle explique qu’un même projet ait besoin des deux à la fois.
Trois vérifications sur une boucle en cours
Trois contrôles qualifient une sélection guidée en labellisation de données.
L’indépendance du jeu d’évaluation vis-à-vis du critère de sélection.
La présence d’une part aléatoire dans chaque lot sélectionné.
Et la mesure du gain à chaque itération plutôt qu’à la fin.
Ces trois contrôles se posent en une question chacun, ils ne demandent aucune compétence technique, et leur absence indique une boucle dont personne ne peut affirmer qu’elle améliore quoi que ce soit.
Ce que le prestataire apporte ici
Quatre apports distinguent une sélection guidée bien conduite.
Un examen humain des données sélectionnées avant leur traitement.
Une part de tirage aléatoire maintenue à chaque itération.
Un signalement des catégories que le modèle ne demande jamais.
Et une mesure du gain publiée itération après itération.
Une conséquence pratique importante en découle. Le premier apport se néglige presque toujours et vaut cher, un lot sélectionné révélant parfois qu’une part des données incertaines sont simplement illisibles, ce qui appelle un tri plutôt qu’une description et évite de payer un travail sans objet.
Ce que les angles morts imposent de prévoir
Cinq dispositifs compensent ce que le modèle ne demande pas.
Une part de tirage aléatoire conservée à chaque lot.
Un examen périodique de ce que la sélection ne retient jamais.
Une inclusion délibérée des catégories les plus rares.
Un jeu d’évaluation couvrant des situations absentes du corpus.
Et un retour d’usage remontant les échecs observés en production.
Une observation importante en découle pour un projet de labellisation de données. Le dernier dispositif est le seul qui échappe entièrement aux limites du modèle, un échec constaté en usage réel signalant une situation que ni la sélection ni l’évaluation n’avaient envisagée, ce qui en fait la source la plus précieuse pour l’itération suivante.
Ce que ce chapitre laisse au suivant
Sélectionner suppose des données existantes que l’on peut aussi fabriquer.
Trois questions restent ouvertes en labellisation de données.
Ce qu’une donnée produite artificiellement remplace vraiment.
Pourquoi elle ne dispense pas d’une description humaine.
Et dans quels cas elle apporte davantage qu’une acquisition réelle.
Ces trois questions relèvent des données synthétiques, qui constituent l’objet du chapitre suivant.
Trois erreurs propres à la sélection guidée
Trois défauts de labellisation de données tiennent à cette approche.
Un jeu d’évaluation constitué par le même critère que l’entraînement.
Une sélection lancée à partir d’un modèle initial trop faible.
Et une absence totale de tirage aléatoire dans les lots successifs.
Ces trois défauts produisent une progression apparente et flatteuse, ils se révèlent lorsque le système rencontre des situations réelles, et leur point commun est de laisser le modèle décider seul de ce qu’il doit apprendre.
Ce que le client doit fournir ici
Cinq éléments viennent du client plutôt que du prestataire.
Un accès au modèle produisant les scores d’incertitude.
Un jeu d’évaluation constitué et tenu à part.
Un rythme d’itération compatible avec ses cycles d’entraînement.
Les catégories dont il sait qu’elles sont sous-représentées.
Et un retour sur les échecs observés en usage réel.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le troisième élément conditionne toute l’organisation, un entraînement demandant plusieurs jours imposant des interruptions que l’équipe d’annotation doit absorber, ce qui rend la coordination des calendriers plus déterminante que le choix du critère de sélection.
Ce que ce chapitre partage avec les précédents
Trois constats reviennent depuis le début du parcours.
Une aide automatique renforce ce que le modèle sait déjà faire.
Un corpus qui n’éprouve pas la difficulté rassure à tort.
Et le défaut le plus coûteux reste celui que rien ne signale.
Une observation importante en découle pour un projet de labellisation de données. Le premier constat trouve ici sa forme la plus paradoxale, une sélection guidée par le modèle visant explicitement ses faiblesses tout en restant aveugle à celles qu’il ignore, ce qui reproduit le mécanisme de la pré-annotation dans un dispositif conçu pour l’éviter.
Ce que ce sujet a de particulier
Quatre traits distinguent cette question des autres du parcours.
Elle décide de ce qui sera décrit plutôt que de la façon de le décrire.
Elle confie une décision de cadrage à un modèle intermédiaire.
Elle produit un gain réel et un corpus non représentatif.
Et elle impose une organisation par cycles plutôt que continue.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le troisième trait mérite d’être assumé dès le départ, un corpus optimisé pour entraîner ne servant plus à mesurer, ce qui oblige à constituer et à financer deux ensembles distincts plutôt qu’un seul.
Ce que la première boucle doit établir
Cinq mesures orientent la suite du projet.
Le gain obtenu comparé à un lot de même taille tiré au hasard.
La proportion de données sélectionnées qui se révèlent inexploitables.
La répartition des catégories dans le lot sélectionné.
Le temps réel séparant deux itérations successives.
Et la stabilité du critère d’une itération à la suivante.
Une observation importante en découle pour un projet de labellisation de données. La première mesure tranche à elle seule, une sélection guidée n’apportant rien face à un tirage aléatoire de même volume signalant que le modèle initial était trop faible ou le corpus trop homogène, ce qui évite d’engager plusieurs cycles sans bénéfice.
Ce que cette approche change à l’économie
Cinq effets modifient la structure du budget.
Le volume total de données décrites diminue nettement.
Le coût unitaire augmente puisque les cas restants sont difficiles.
Le maintien de l’équipe entre deux lots s’ajoute à la dépense.
La mise en place de la boucle occupe une part du démarrage.
Et le jeu d’évaluation constitue une dépense supplémentaire.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le deuxième effet réduit fortement le gain apparent, une réduction de moitié du volume ne divisant pas le budget par deux puisque chaque élément restant demande davantage de temps, ce qui rend un gain annoncé en volume trompeur une fois de plus.
Trois questions à poser avant de lancer une boucle
Trois questions précèdent l’adoption d’une sélection guidée.
Le jeu d’évaluation sera-t-il constitué indépendamment du critère.
Quel délai sépare deux itérations dans les faits.
Et quelle part de tirage aléatoire sera maintenue.
Ces trois questions se posent avant le premier lot, elles ne demandent aucune compétence technique, et leur absence conduit à engager un dispositif dont personne ne mesurera l’apport réel.
Ce que ce chapitre suppose du prestataire
Cinq pratiques distinguent une sélection guidée honnête.
Comparer le premier lot sélectionné à un lot aléatoire équivalent.
Signaler qu’une part des données retenues est inexploitable.
Maintenir un tirage aléatoire même lorsque personne ne le demande.
Prévenir que le corpus obtenu ne sert plus à évaluer.
Et dire quand cette approche n’apportera rien sur ce projet.
Une conséquence pratique importante en découle. La dernière pratique va contre l’intérêt commercial immédiat, une sélection guidée se vendant mieux qu’un tirage ordinaire, alors qu’elle ne sert à rien sur un corpus homogène et coûte l’organisation par cycles qu’elle impose.
Ce que cette approche ne remplace pas
Cinq travaux subsistent intacts quelle que soit la sélection retenue.
La rédaction du référentiel et l’arbitrage des cas limites.
La mesure de l’omission sur un échantillon repris.
La constitution d’un jeu d’évaluation représentatif.
Le contrôle qualité appliqué à chaque lot produit.
Et la documentation remise avec le corpus final.
Une observation importante en découle pour un projet de labellisation de données. Ces cinq travaux représentaient déjà la part la plus coûteuse du projet, ce qui explique qu’une réduction du volume décrit ne produise pas la baisse de budget que le gain annoncé laissait espérer.
Ce que le critère de sélection doit suivre
Cinq observations orientent le choix du critère employé.
L’incertitude convient lorsque les catégories sont bien définies.
Le désaccord entre modèles convient lorsque plusieurs sont disponibles.
La distance aux données décrites convient sur un domaine nouveau.
Le ciblage d’une catégorie convient lorsqu’elle est identifiée.
Et un critère mixte convient à la plupart des projets réels.
Une conséquence pratique importante en découle pour un projet de labellisation de données. La troisième observation traite précisément l’angle mort décrit plus haut, une sélection privilégiant ce qui ressemble le moins aux données déjà décrites allant chercher des situations que l’incertitude ne signalait pas, ce qui compense partiellement l’aveuglement du modèle.
Ce que l’arrêt de la boucle demande de décider
Cinq signaux indiquent qu’une itération supplémentaire n’apportera plus rien.
Un gain de performance devenu inférieur au bruit de mesure.
Une sélection retenant des données proches des précédentes.
Une proportion croissante de données inexploitables retenues.
Un budget atteignant la limite fixée au départ.
Et un niveau de performance jugé suffisant pour l’usage.
Une observation importante en découle pour un projet de labellisation de données. Le dernier signal se néglige au profit des autres, une équipe technique poursuivant l’amélioration bien après que l’usage réel a cessé d’en bénéficier, ce qui consomme un budget dont un autre chantier aurait tiré davantage.
Ce que la taille du lot décide
Cinq effets accompagnent le dimensionnement d’une itération.
Un lot réduit permet une correction rapide du critère.
Un lot réduit multiplie les périodes d’attente de l’équipe.
Un lot important amortit mieux le temps d’entraînement.
Un lot important risque de porter un critère déjà dépassé.
Et la taille optimale dépend du temps d’entraînement du modèle.
Une conséquence pratique importante en découle pour un projet de labellisation de données. Le dernier effet fixe le dimensionnement mieux que toute règle générale, un lot devant occuper l’équipe pendant que le modèle s’entraîne, ce qui rend cette contrainte technique déterminante pour l’organisation quotidienne du travail.
Ce qu’il faut retenir
La sélection décide de ce que le budget achète réellement.
Trois lectures se dégagent. Un tirage aléatoire consacre l’essentiel du budget à décrire des situations que le modèle traite déjà correctement, ce qui ralentit sa progression à mesure que le volume augmente. Une incertitude élevée désigne les données dont la description apprendra le plus, ce qui permet d’atteindre le même niveau avec un corpus nettement plus réduit. Et une catégorie que le modèle ignore ne sera jamais jugée incertaine, ce qui rend la sélection guidée aveugle précisément là où le besoin est le plus fort.
Pour les données produites artificiellement, l’article consacré aux
données synthétiques le détaille. Pour les défauts et leurs effets, l’article sur les
erreurs de labellisation l’expose.
Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’
annotation 2D et 3D. Et si vous préparez un projet de labellisation,
échangeons sur votre besoin.
