Constituer un dataset de détection de mauvaises herbes

Un corpus de détection de mauvaises herbes ne se constitue pas en collectant des images puis en les faisant annoter. La séquence inverse produit la plupart des échecs de ce domaine, et la contrainte saisonnière ne pardonne pas les erreurs de cadrage.Cet article expose la méthode, dans l’ordre, avec ce que chaque étape détermine. Il prolonge l’article consacré à la détection aux premiers stades.

Pourquoi l’ordre importe ici plus qu’ailleurs

Trois contraintes rendent la reprise coûteuse en détection de mauvaises herbes.La fenêtre d’acquisition est saisonnière, ce qui fait qu’une erreur de conception se paie d’une année plutôt que de quelques semaines.Les conditions ne se reproduisent pas, une même parcelle au même stade présentant l’année suivante une flore, une météo et un état de sol différents.Et le corpus ne se transpose pas, ce que les articles précédents ont établi, ce qui interdit de compenser une lacune par des images venues d’ailleurs.Une conséquence pratique importante en découle. Ces trois contraintes font de la phase de conception, qui ne produit aucune image, l’étape la plus déterminante d’un projet de détection de mauvaises herbes.

Étape un : établir le périmètre

Cinq décisions bornent un corpus de détection de mauvaises herbes.Elles se prennent avec l’utilisateur final.Les cultures concernées, dont chacune constitue un contexte distinct exigeant sa propre couverture.Les régions concernées, dont la flore et les conditions de sol diffèrent.La fenêtre de stades, déterminée par l’usage et par le moyen de destruction.La formulation de la tâche, binaire, par groupe fonctionnel ou par espèce.Et la modalité d’acquisition, embarquée, drone ou portée, qui ne produisent pas des corpus interchangeables.Une observation en découle. Ces cinq décisions se multiplient plutôt qu’elles ne s’additionnent, deux cultures sur deux régions et trois stades produisant douze contextes à couvrir, ce qui rend la réduction du périmètre le levier de coût le plus puissant.

Étape deux : le lot pilote

Ce premier lot restreint détermine tout ce qui suit.Il ne se saute pas.Quelques centaines d’images acquises dans les conditions réelles suffisent à établir ce qu’aucune réunion ne peut établir.Quatre informations décisives en découlent.La faisabilité de la formulation retenue, mesurée par l’accord entre deux annotateurs.La liste des cas limites réels, qui alimente le référentiel et qu’aucune anticipation ne produit exhaustivement.La cadence d’annotation observée, qui remplace toute estimation par un fait et sert de base à tous les devis suivants.Et la qualité effective des images, un flou ou une exposition inadaptée se corrigeant à ce stade et pas après.Une conséquence pratique en découle pour un projet de détection de mauvaises herbes. Ce lot représente une fraction modeste du corpus final et il détermine l’essentiel des conventions, ce qui justifie d’y consacrer un soin sans rapport avec sa taille.

Étape trois : le plan d’échantillonnage

Une conception explicite remplace la collecte opportuniste.Elle change la valeur d’un corpus de détection de mauvaises herbes.Un corpus constitué au fil des sorties reflète les conditions de ces sorties plutôt que celles de l’usage.Six dimensions doivent être couvertes de façon délibérée.Les stades, répartis sur la fenêtre entière plutôt que concentrés sur le plus commode.Les niveaux d’infestation, des parcelles propres aux zones de tapis dense.Les conditions d’éclairement, du plein soleil au couvert nuageux, en incluant les heures rasantes.Les états de sol, sec, humide, croûté, avec et sans résidus.Les espèces cibles, y compris rares, dont la présence doit être recherchée plutôt qu’attendue.Et les configurations atypiques, bouts de champ, manquants et plants faibles.Une observation importante en découle. La cinquième dimension impose une sélection ciblée plutôt qu’un tirage aléatoire, ce que l’article consacré aux espèces problématiques a exposé, et cette décision relève d’une conception préalable plutôt que d’un tri ultérieur.

Le dimensionnement

Quatre facteurs déterminent le volume nécessaire.Ils ne se réduisent pas à un nombre d’images.Le nombre de contextes à couvrir, produit des cultures, régions et stades retenus.Le nombre de classes, chacune devant atteindre un effectif suffisant pour être apprise.La variabilité interne de chaque classe, une espèce changeant fortement d’apparence demandant davantage d’exemples.Et la difficulté de la tâche, une distinction fine exigeant plus d’exemples qu’une distinction évidente.Une conséquence pratique en découle. Le volume utile se raisonne en objets par classe et par contexte plutôt qu’en nombre d’images, une image d’infestation dense pouvant contenir cinquante objets et une image de parcelle propre aucun.Une observation complète ce constat. Le comptage d’objets par classe sur le lot pilote fournit la seule base sérieuse de dimensionnement, et son absence explique les écarts considérables entre volume annoncé et volume nécessaire dans les projets de détection de mauvaises herbes.

Ce qu’il faut enregistrer avec les images

Six métadonnées conditionnent l’exploitation du corpus et elles coûtent quelques champs à la saisie.La date et l’heure, qui permettent de reconstituer les conditions d’éclairement.La parcelle, indispensable à une séparation géographique correcte entre entraînement et évaluation.La culture et le stade, exprimé en repères observables.Les conditions d’acquisition, matériel, hauteur et vitesse.L’état du sol et la présence de résidus.Et l’itinéraire technique lorsqu’il est disponible, notamment les traitements antérieurs qui expliquent la flore présente.Une conséquence pratique importante en découle. La deuxième métadonnée est celle dont l’absence est la plus dommageable : sans identifiant de parcelle, il devient impossible de garantir qu’un jeu d’évaluation est réellement séparé, et une performance annoncée devient invérifiable.

Exploiter un corpus existant

Une situation fréquente mérite d’être traitée, un client disposant souvent d’images accumulées avant tout projet structuré.Ces images ont une valeur réelle et une valeur souvent inférieure à celle qu’on leur prête.Quatre vérifications établissent ce qu’elles permettent.La couverture des contextes, en croisant les images disponibles avec le périmètre visé, exercice qui révèle presque toujours des lacunes.La présence de métadonnées, dont l’absence limite fortement l’exploitation même si les images sont bonnes.L’homogénéité d’acquisition, un fonds constitué avec plusieurs matériels sur plusieurs années mélangeant des résolutions et des points de vue incompatibles.Et la représentativité des conditions, un fonds constitué lors de démonstrations ou de visites présentant systématiquement de bonnes conditions.Une conséquence pratique en découle pour un projet de détection de mauvaises herbes. Ce quatrième point est le plus courant : des images accumulées au fil des sorties commerciales décrivent les parcelles vitrines plutôt que les parcelles ordinaires, et un corpus bâti dessus produira un système décevant sur le parc réel.

La séparation entraînement et évaluation

Une règle gouverne cette séparation.Son non-respect produit des chiffres flatteurs et faux.Deux images de la même parcelle prise le même jour partagent trop de contexte pour se répartir de part et d’autre.Trois niveaux de séparation existent, et leur exigence croît.La séparation par image, insuffisante, deux images consécutives d’un même passage montrant souvent les mêmes plantes.La séparation par parcelle, correcte pour la plupart des usages, qui garantit que le système est évalué sur un contexte non vu.Et la séparation par région et par campagne, la plus exigeante, qui mesure ce que le système fera réellement chez un nouveau client.Une observation en découle. Le troisième niveau produit le chiffre le plus bas et le plus utile, puisqu’il correspond à la situation commerciale réelle, et c’est celui qu’un prestataire a intérêt à mesurer avant qu’un client ne le mesure à sa place.

La constitution progressive

Une organisation en lots successifs vaut mieux qu’une acquisition massive.Elle mérite d’être défendue auprès du client.Un corpus construit d’un bloc fige des conventions avant qu’elles soient éprouvées.Quatre avantages accompagnent l’approche progressive.Les conventions se corrigent entre deux lots plutôt qu’après l’ensemble.La cadence et le coût se mesurent tôt et se projettent.Un premier modèle entraîné sur les lots initiaux permet de pré-annoter les suivants.Et les lacunes révélées par ce premier modèle orientent le contenu du lot suivant.Une conséquence pratique en découle pour un projet de détection de mauvaises herbes. Ce quatrième avantage est le plus important : il transforme la constitution du corpus en boucle plutôt qu’en ligne droite, et il concentre l’effort sur ce qui manque réellement plutôt que sur ce qui est facile à acquérir.

Ce qu’il ne faut pas faire du corpus

Quatre pratiques dégradent un corpus de détection de mauvaises herbes.Elles paraissent pourtant raisonnables.Écarter les images de mauvaise qualité, qui seront présentes en production et dont l’absence produit un système fragile.Équilibrer artificiellement les classes en supprimant des exemples de la classe majoritaire, ce qui détruit de l’information au lieu d’en ajouter.Recadrer les images autour des objets, ce qui supprime le contexte dont le modèle a besoin et fausse la distribution.Et augmenter artificiellement le volume par transformations avant d’avoir couvert les contextes réels, ce qui multiplie les exemples sans ajouter d’information.Une observation importante en découle. Ces quatre pratiques partagent une logique commune, elles rendent le corpus plus propre et moins représentatif, ce qui rejoint le constat que toutes les séries précédentes ont établi sur la différence entre un corpus soigné et un corpus utile.

Aborder la constitution d’un corpus

Cinq questions cadrent cette phase et elles se posent avant toute sortie sur le terrain.Combien de contextes distincts le périmètre comporte-t-il. Ce produit détermine le volume et il est presque toujours sous-estimé.Un lot pilote est-il prévu avant la production. Son absence rend tout chiffrage arbitraire.Le plan d’échantillonnage couvre-t-il les six dimensions exposées. Une dimension omise se découvre à l’évaluation.L’identifiant de parcelle sera-t-il enregistré. Son absence interdit une séparation correcte.Et la constitution se fera-t-elle par lots successifs. Une acquisition massive fige des conventions non éprouvées.Ces cinq réponses déterminent le volume, le calendrier et la validité du résultat. Les poser avant la première sortie évite le cas le plus coûteux de ce domaine, un corpus complet et inexploitable qu’une saison entière séparait de sa correction.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen car elle recoupe un constat des séries précédentes.La constitution d’un corpus est une opération de conception et non de collecte.Trois constats la composent.Ce qui détermine la valeur d’un corpus est ce qu’il couvre délibérément, non le nombre d’images qu’il contient.Cette couverture se conçoit avant l’acquisition, puisqu’une dimension omise ne s’ajoute pas rétrospectivement dans un domaine à fenêtre saisonnière.Et la mesure sur un lot pilote remplace toute estimation, ce qui rend cette étape non négociable pour un engagement au forfait.Ce constat rejoint exactement celui que les séries consacrées à la segmentation d’images satellites et au LiDAR aérien ont établi sur le rôle de l’évaluation préalable : ce qui coûte quelques jours en amont évite un facteur d’écart en production, et l’asymétrie est ici aggravée par le calendrier agricole.

Les erreurs les plus fréquentes

  • Collecter des images avant d’avoir fixé la formulation de la tâche.
  • Sous-estimer le nombre de contextes distincts que le périmètre comporte.
  • Sauter le lot pilote et chiffrer sur estimation.
  • Raisonner en nombre d’images plutôt qu’en objets par classe et par contexte.
  • Constituer le corpus au fil des sorties plutôt que selon un plan.
  • Ne pas enregistrer l’identifiant de parcelle.
  • Séparer entraînement et évaluation par image plutôt que par parcelle.
  • Écarter les images dégradées qui seront présentes en production.
  • Équilibrer les classes en supprimant des exemples.
  • Acquérir massivement avant d’avoir éprouvé les conventions.
  • Attendre les espèces rares au lieu de les rechercher délibérément.

Le corpus d’évaluation, à part

Une distinction mérite d’être posée car ces deux corpus n’obéissent pas aux mêmes règles.Le corpus d’entraînement doit couvrir ce que le système rencontrera ; le corpus d’évaluation doit mesurer ce qu’il vaut.Quatre différences en découlent.L’évaluation demande un volume bien inférieur, quelques centaines d’objets par classe suffisant à mesurer là où l’entraînement en demande beaucoup plus.Elle demande une qualité d’annotation supérieure, une erreur dans la référence faussant la mesure alors qu’une erreur dans l’entraînement se dilue.Elle doit sur-représenter les configurations difficiles, l’objectif étant de mesurer là où le système est sollicité plutôt que de refléter la distribution réelle.Et elle doit rester stable dans le temps, un jeu d’évaluation qui évolue interdisant de comparer deux versions du système.Une observation importante en découle. La deuxième différence justifie de faire annoter le corpus d’évaluation en double et de faire arbitrer les désaccords par un agronome, effort disproportionné sur l’entraînement et pleinement justifié ici.

L’organisation d’une campagne d’acquisition

Six décisions logistiques conditionnent la réussite d’une sortie et elles se préparent avant la fenêtre.Le repérage des parcelles, en s’assurant qu’elles couvrent les contextes visés et que l’accès est autorisé.Le calendrier de passage, calé sur les stades plutôt que sur les disponibilités, avec plusieurs passages sur les mêmes parcelles.Le protocole de prise de vue, hauteur, angle, vitesse et réglages, consigné pour être reproductible d’une sortie à l’autre.Le relevé de métadonnées, organisé pour être renseigné pendant la sortie et non reconstitué après.La présence d’un agronome sur au moins une sortie, qui permet d’identifier au champ ce que l’image ne montrera pas.Et le contrôle des images le jour même, une exposition inadaptée ou un défaut de mise au point se corrigeant tant qu’on est sur place.Une conséquence pratique importante en découle pour un projet de détection de mauvaises herbes. Le dernier point est le plus rentable de la liste : une sortie perdue faute de contrôle immédiat ne se rattrape pas avant le stade suivant, et parfois pas avant l’année suivante.

La documentation du corpus

Six éléments accompagnent une livraison et leur absence limite fortement la réutilisation.Le document de nomenclature, avec ses classes, ses seuils et son référentiel de cas illustré.Le plan d’échantillonnage effectivement réalisé, distinct de celui qui était prévu.Les effectifs par classe et par contexte, tableau simple qui renseigne immédiatement sur ce que le corpus permet.Le rapport de qualité, avec la méthode d’échantillonnage du contrôle et les taux d’accord mesurés.La liste des contextes non couverts, qui borne explicitement le domaine d’emploi.Et la définition des jeux d’entraînement et d’évaluation, avec le critère de séparation retenu.Une observation importante en découle. Le cinquième élément est le plus rare et le plus utile : déclarer ce que le corpus ne couvre pas transforme une limite invisible en limite connue, et cela protège autant le prestataire que le client, principe que toutes les séries précédentes ont établi.

Les données publiques et leur usage

Leur place dans un projet de détection de mauvaises herbes mérite d’être située.Plusieurs jeux d’images d’adventices sont diffusés librement.Ils ne remplacent pas un corpus local et ils rendent trois services réels.La formation des annotateurs, un jeu public annoté permettant d’entraîner une équipe avant de disposer d’images du client.Le pré-entraînement d’un modèle, dont les couches générales bénéficient d’une exposition à un volume que le corpus local n’atteindra pas.Et l’estimation préalable de faisabilité, un essai sur données publiques donnant un ordre de grandeur avant tout engagement.Trois limites en bornent l’usage.Les conditions d’acquisition diffèrent, résolution, hauteur et matériel n’étant pas ceux du projet.La flore diffère, les jeux disponibles couvrant certaines régions et certaines cultures et pas d’autres.Et les conventions d’annotation diffèrent, ce qui rend la fusion avec un corpus local délicate voire contre-productive.Une conséquence pratique en découle pour un projet de détection de mauvaises herbes. Le pré-entraînement est l’usage le plus rentable de ces jeux, et la fusion directe avec un corpus local est celui qui produit le plus souvent une dégradation plutôt qu’un gain.

Le corpus comme actif du client

Une question contractuelle mérite d’être posée au cadrage car elle se règle mal après.Un corpus annoté est un actif dont la propriété, la réutilisation et la conservation doivent être établies.Quatre points doivent être tranchés.La propriété des images et celle des annotations, qui peuvent différer, le client fournissant souvent les premières et le prestataire produisant les secondes.Le droit de réutilisation par le prestataire, notamment pour améliorer ses modèles ou former ses équipes, qui doit être explicitement accordé ou refusé.La conservation après la fin du projet, un corpus détruit à la clôture ne pouvant plus servir à une extension ultérieure.Et la remise du référentiel de cas, document dont la valeur pour une réannotation future dépasse souvent celle du corpus lui-même.Une observation en découle pour un projet de détection de mauvaises herbes. Le deuxième point est celui qui produit le plus de malentendus, un client supposant fréquemment une exclusivité que le contrat ne mentionne pas, et le clarifier en amont vaut mieux que le découvrir lors d’une discussion ultérieure.

Trois erreurs de dimensionnement

Trois raisonnements produisent des volumes faux et ils reviennent régulièrement.Transposer un ordre de grandeur venu d’un autre domaine de vision, la détection d’objets courants ne présentant ni la proximité visuelle ni la variabilité de ce domaine.Compter en images sans considérer la densité d’objets, deux corpus de même taille pouvant différer d’un facteur dix en contenu utile.Et dimensionner sur la classe majoritaire, alors que ce sont les classes rares qui déterminent le volume à parcourir pour les atteindre.Une observation en découle. Le troisième raisonnement est le plus coûteux : atteindre un effectif suffisant sur une espèce peu fréquente impose de traiter un volume d’images sans rapport avec ce que la classe majoritaire aurait demandé, et ce facteur ne se devine pas sans comptage préalable.

Ce qu’il faut retenir

Un corpus de détection de mauvaises herbes se conçoit avant de se collecter, et la fenêtre saisonnière fait qu’une erreur de conception se paie d’une année plutôt que de quelques semaines.Trois lectures se dégagent. Les dimensions du périmètre se multiplient plutôt qu’elles ne s’additionnent, deux cultures sur deux régions et trois stades produisant douze contextes à couvrir, ce qui fait de la réduction du périmètre le levier de coût le plus puissant. Le volume utile se raisonne en objets par classe et par contexte plutôt qu’en nombre d’images, le comptage sur un lot pilote fournissant la seule base sérieuse de dimensionnement. Et l’identifiant de parcelle est la métadonnée dont l’absence est la plus dommageable, puisqu’elle rend impossible de garantir une séparation correcte et donc invérifiable toute performance annoncée.Pour les conditions qui rendent ce corpus difficile à constituer, l’article consacré aux conditions de terrain les détaille. Pour ce que la fenêtre saisonnière impose, l’article sur la détection aux premiers stades expose la contrainte.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée au traitement de données agricoles. Et si vous devez concevoir un corpus d’adventices, échangeons sur votre projet.
Tags

Découvrez nos articles