Mesurer la qualité d’une annotation d’adventices pose une difficulté particulière : la référence elle-même relève d’un jugement botanique. Deux annotateurs compétents peuvent diverger sans qu’aucun ait tort, et cette divergence borne tout ce qu’un modèle pourra atteindre.Cet article expose comment mesurer, où placer l’agronome et comment formuler une exigence vérifiable. Il prolonge l’article consacré aux conditions de terrain.
Pourquoi la mesure diffère ici
Quatre propriétés distinguent la détection de mauvaises herbes d’une tâche de détection ordinaire.La vérité terrain n’est pas dans l’image, l’identification d’une espèce relevant d’une connaissance extérieure que l’annotateur applique.Le désaccord entre observateurs est structurel et non accidentel, une part des plantes étant réellement indécidable au stade considéré.Les classes sont fortement déséquilibrées, les adventices cibles représentant une fraction des objets face à la culture.Et le coût d’une erreur varie selon la classe et selon l’usage, ce que les articles consacrés aux usages ont établi.Une conséquence pratique importante en découle. Ces quatre propriétés rendent inopérant l’indicateur le plus naturel, un taux global d’objets correctement annotés, dont une valeur élevée est compatible avec une défaillance complète sur ce qui compte.Les métriques utiles
Cinq mesures renseignent réellement sur un corpus de détection de mauvaises herbes.L’accord entre annotateurs par classe, qui localise les frontières mal définies et fournit la borne de performance atteignable.Le rappel et la précision par classe, rapportés séparément, une classe bien détectée mais surinterprétée appelant une correction opposée à une classe rarement détectée.La matrice de confusion, plus informative que tout indicateur dérivé puisqu’elle indique vers quelles classes une espèce dérive.Le taux d’objets indéterminés, qui mesure la part réellement indécidable et dont une valeur anormale signale un référentiel insuffisant.Et la qualité de localisation, distincte de la qualité de classification, un objet bien classé et mal placé constituant un mode d’échec propre.Le rôle exact de l’agronome
Une confusion fréquente rend son implication irréaliste.Elle mérite d’être levée.L’agronome n’annote pas, la cadence et le volume rendant cette implication impraticable et son coût prohibitif.Quatre contributions justifient sa présence.Établir le référentiel initial sur un lot réel, avec les critères observables et les confusions illustrées.Arbitrer les lots de cas indéterminés accumulés par les annotateurs, opération périodique et de faible volume.Valider le corpus d’évaluation, dont la qualité de référence conditionne toute mesure ultérieure.Et trancher les évolutions de nomenclature, fusions et renoncements notamment.Une observation importante en découle pour un projet de détection de mauvaises herbes. Ces quatre contributions se comptent en jours répartis sur la durée du projet plutôt qu’en présence continue, ce qui les rend organisables là où une demande d’agronome à temps plein bloquerait le projet.Mesurer le désaccord entre annotateurs
Cette opération fournit la borne de toute performance en détection de mauvaises herbes.Elle se conduit en une journée.Le principe consiste à faire annoter un même échantillon par deux personnes formées et à comparer objet par objet.Quatre informations distinctes en découlent.Le taux d’accord global, qui situe le niveau général et masque les disparités.L’accord par classe, qui identifie les classes problématiques et oriente l’effort de référentiel.Les paires de classes confondues, qui indiquent quelle frontière précise est en cause.Et la liste des objets sur lesquels le désaccord porte, matière première du référentiel de cas.Une conséquence pratique importante en découle. La dernière information est celle que l’on exploite le moins et qui vaut le plus : chaque désaccord pointe un cas que la convention ne couvre pas, ce qui transforme une mesure de qualité en inventaire de lacunes.Le cycle de correction
Une boucle organise l’amélioration.Elle vaut mieux qu’un contrôle final.Quatre étapes la composent, et elles se répètent entre les lots.La double annotation d’un échantillon du lot en cours.L’identification des désaccords et leur regroupement par type.L’arbitrage par l’agronome des types récurrents, avec écriture de la règle.Et la diffusion de la règle aux annotateurs avant le lot suivant.Une observation en découle. Ce cycle réduit le désaccord de lot en lot jusqu’à un plancher qui correspond à l’indécidabilité réelle, et atteindre ce plancher est le signe qu’un référentiel est complet plutôt qu’un objectif à dépasser.Ce qu’un contrôle continu doit suivre
Cinq indicateurs se relèvent par lot en détection de mauvaises herbes.Leur suivi révèle les dérives.La proportion de chaque classe, dont une valeur inhabituelle signale un lot atypique ou un changement d’interprétation.Le nombre moyen d’objets par image, indicateur simple qui trahit une annotation incomplète.Le taux d’objets indéterminés, dont une baisse soudaine signale souvent que les annotateurs ont cessé de l’utiliser plutôt qu’une amélioration.La distribution des tailles d’objets, dont une dérive signale un changement de convention sur les plantes limites.Et l’accord sur un échantillon de contrôle constant, réannoté périodiquement, qui mesure la dérive dans le temps.Une conséquence pratique en découle pour un projet de détection de mauvaises herbes. Le troisième indicateur mérite une attention particulière, car sa baisse est spontanément interprétée comme un progrès alors qu’elle traduit fréquemment un relâchement.Constituer l’échantillon de contrôle
Quatre principes gouvernent sa composition et ils diffèrent de ceux d’un échantillon aléatoire.La stratification par classe est nécessaire, un tirage aléatoire ne contenant presque aucun objet des classes minoritaires qui portent l’enjeu.La sur-représentation des configurations difficiles est délibérée, l’objectif étant de mesurer là où le corpus est sollicité plutôt que de refléter sa distribution.La couverture des conditions doit figurer, un échantillon acquis dans une seule condition ne renseignant pas sur la variabilité que l’article précédent a exposée.Et une part de l’échantillon doit rester constante entre les lots, seul moyen de mesurer une dérive dans le temps.Une conséquence pratique en découle pour un projet de détection de mauvaises herbes. Ces quatre principes conduisent à un échantillon composite plutôt qu’unique, une part aléatoire fournissant l’estimation générale et une part ciblée fournissant le diagnostic, distinction que la plupart des dispositifs négligent.Les modes d’erreur propres à ce domaine
Six modes se distinguent.Ils appellent des corrections différentes.La confusion entre espèces voisines, erreur fréquente et de gravité variable selon que le traitement diffère.La confusion entre culture et adventice, erreur plus rare et plus grave puisqu’elle porte sur la classe critique.L’omission d’objets, mode d’échec que les taux calculés sur objets annotés masquent puisqu’un objet absent n’est pas compté.La fausse détection sur résidus ou débris, dont l’origine est la condition d’acquisition plus que la compétence.Le défaut de délimitation, un objet correct dont la boîte inclut ou exclut à tort son environnement.Et l’incohérence entre lots, une même configuration traitée différemment selon la période, qui signale un défaut de convention plutôt qu’une erreur individuelle.Une observation importante en découle. Le troisième mode est le plus difficile à mesurer et le plus dommageable, puisqu’il faut réannoter exhaustivement un échantillon pour le détecter, effort que la plupart des dispositifs de contrôle n’incluent pas.Formuler une exigence vérifiable
Une méthode en trois temps produit une exigence tenable.Elle la rend vérifiable.Établir ce que l’erreur coûte selon la classe, une confusion entre deux adventices traitées identiquement étant sans conséquence quand une erreur sur la culture en a.Traduire ce coût en exigence par classe et par condition plutôt qu’en taux global.Et vérifier que cette exigence reste en deçà du désaccord entre experts mesuré sur ces mêmes classes.Une conséquence pratique importante en découle. Cette troisième vérification est celle qui protège les deux parties : une exigence supérieure à la borne mesurée est irréalisable, et le démontrer par un chiffre plutôt que par une appréciation transforme une négociation en constat.Ce que la mesure ne dit pas
Quatre limites méritent d’être posées.Un dispositif de mesure rassure parfois à tort.Un accord élevé entre deux annotateurs formés par la même personne mesure la cohérence de la formation autant que la clarté du référentiel.Un accord mesuré sur un échantillon facile ne renseigne pas sur la performance en conditions difficiles.La qualité d’annotation ne prédit pas la performance du modèle, un corpus impeccable sur un périmètre trop étroit produisant un système décevant.Et aucune mesure interne ne remplace une évaluation au champ, ce que l’article consacré à la pulvérisation ciblée a établi.Cette troisième limite est la plus importante commercialement. Elle signifie qu’un prestataire peut livrer un corpus irréprochable et un client obtenir un système décevant, sans qu’aucune des deux parties ait failli, situation qui se prévient au cadrage et se règle mal après.Le rapport de qualité
Six éléments composent un rapport utile et l’absence des trois derniers rend une revendication invérifiable.La méthode d’échantillonnage du contrôle, plan de tirage et effectifs.La matrice de confusion complète entre annotateurs.Le rappel et la précision par classe, rapportés séparément.Le désaccord mesuré entre experts sur les configurations difficiles.Le taux d’objets indéterminés et son évolution entre lots.Et la liste des configurations pour lesquelles aucune convention stable n’a pu être établie.Une observation importante en découle. Le dernier élément est le plus rare et le plus utile, puisqu’il transforme une limite invisible en limite déclarée, principe que toutes les séries précédentes ont établi et qui trouve ici son application.Aborder la qualité d’un corpus d’adventices
Cinq questions cadrent ce sujet et elles se posent avant la production.Quelles classes portent réellement l’enjeu. Cette réponse concentre l’effort de contrôle là où il compte.Une compétence agronomique est-elle disponible pour arbitrer. Son absence plafonne la qualité atteignable quel que soit le dispositif.Le désaccord entre annotateurs sera-t-il mesuré avant l’engagement. Sa valeur détermine ce qui peut être promis.Un échantillon de contrôle constant est-il prévu. Son absence rend la dérive indétectable.Et l’exigence est-elle formulée par classe. Une exigence globale permet d’atteindre le contrat en livrant un corpus inadapté.Ces cinq réponses déterminent le dispositif de contrôle et l’engagement contractuel. Les poser avant la production évite la situation où une exigence irréaliste est acceptée puis constatée impossible.Ce que ce chapitre enseigne
Une observation transversale mérite de clore cet examen car elle recoupe un constat des séries précédentes.La qualité d’un corpus d’adventices est bornée par l’accès à l’expertise plutôt que par la rigueur du dispositif.Trois constats la composent.Un dispositif de contrôle parfait sans agronome mesure la cohérence des annotateurs entre eux et non leur justesse.Cette justesse ne se vérifie que par une référence extérieure à l’image, agronome ou suivi de terrain.Et cette référence est coûteuse et rare, ce qui en fait le facteur limitant plutôt que la cadence ou l’outillage.Ce constat rejoint exactement celui que les séries consacrées à l’imagerie médicale ont établi dans un domaine sans rapport thématique : lorsque la vérité terrain relève d’un jugement expert, la qualité du corpus dépend de l’accès à cette expertise, et l’organiser en amont vaut mieux que constater son absence en production.Les erreurs les plus fréquentes
- Se fier à un taux global d’objets correctement annotés.
- Demander à un agronome d’annoter plutôt que d’établir et d’arbitrer.
- Ne pas mesurer le désaccord entre annotateurs avant de s’engager.
- Interpréter une baisse du taux d’indéterminés comme un progrès.
- Contrôler uniquement en fin de production plutôt qu’entre les lots.
- Négliger la mesure des omissions, qui demande une réannotation exhaustive.
- Mesurer l’accord sur un échantillon facile.
- Former tous les annotateurs par la même personne et mesurer leur accord.
- Omettre l’échantillon de contrôle constant qui révèle la dérive.
- Formuler une exigence en taux global plutôt que par classe.
- Livrer un rapport de qualité sans la liste des configurations non stabilisées.
