La seule étude systématique consacrée aux consignes d’annotation en analyse d’images biomédicales aboutit à un résultat que la plupart des projets ignorent en pratique. Portant sur 14 040 images annotées par 156 annotateurs issus de quatre sociétés professionnelles et par 708 contributeurs d’une plateforme de travail participatif, avec des consignes de densité d’information variable, elle conclut que l’ajout d’images d’exemple améliore significativement la performance d’annotation par rapport aux descriptions purement textuelles, alors que le seul allongement des descriptions textuelles ne l’améliore pas.
Allonger le texte ne sert à rien. Ajouter des exemples visuels change tout. Ce résultat contredit la pratique dominante, qui consiste à répondre à chaque désaccord par un paragraphe supplémentaire dans le protocole.
Cet article traite de la construction d’un protocole d’annotation et des mécanismes de consensus qui l’accompagnent. Il prolonge le guide complet de la segmentation d’images médicales.
Pourquoi allonger le texte échoue
Le résultat cité mérite d’être compris plutôt que simplement appliqué, car sa logique se transporte à d’autres décisions. Une définition textuelle décrit une catégorie par ses propriétés. Face à un cas concret, l’annotateur doit vérifier si ces propriétés s’appliquent, opération qui suppose déjà de savoir interpréter chaque terme. Ajouter des propriétés ajoute des interprétations à faire, ce qui n’améliore pas la décision et peut la ralentir. Un exemple visuel procède autrement. Il montre une décision prise dans un cas réel, ce qui transmet simultanément la règle et la façon de l’appliquer. L’annotateur ne raisonne plus par déduction mais par analogie, ce qui est plus rapide et plus fiable sur des tâches perceptives. La conséquence pratique est directe. Devant un désaccord observé, l’instinct est de préciser la règle par écrit ; le geste efficace est de figer le cas litigieux comme exemple, avec la décision retenue et sa raison. Cette substitution est le principal levier de qualité d’un protocole de segmentation d’images médicales, et elle coûte moins cher que la rédaction qu’elle remplace.Ce qu’un protocole de segmentation d’images médicales doit contenir
Quatre composantes suffisent, et leur ordre d’importance n’est pas celui qu’on suppose.La définition par l’exemple
Chaque structure doit être accompagnée d’au moins trois images : un cas standard, un cas limite inclus et un cas limite exclu. Ce triplet transmet davantage qu’une page de description, et il constitue le noyau du protocole plutôt que son annexe. Une contrainte s’y attache : ces exemples doivent provenir du corpus du projet et non d’un atlas anatomique. Un exemple issu d’images idéales ne prépare pas aux images réelles, et il induit une confiance que la production démentira.Les règles d’exclusion
Un protocole qui liste ce qu’il faut inclure sans détailler ce qu’il faut écarter laisse ouverte la question la plus difficile. Sur la plupart des tâches médicales, la difficulté n’est pas de trouver la structure mais de ne pas inclure ce qui lui ressemble. Ces règles gagnent également à être illustrées. Une image de structure imitatrice, accompagnée de l’explication de ce qui la distingue, vaut mieux qu’une liste de critères différentiels.Les cas limites
Certaines questions ne se déduisent d’aucune observation et doivent être tranchées arbitrairement : inclusion d’une sous-structure interne, traitement d’une cavité, limite entre deux pièces en contact, conduite en cas de fusion pathologique. Ces décisions doivent figurer explicitement, avec leur raison. Une règle sans sa raison ne se généralise pas au cas suivant qui diffère légèrement, alors qu’une règle motivée permet à l’annotateur de raisonner par analogie.La conduite en cas de doute
La composante la plus souvent absente d’un protocole de segmentation d’images médicales est aussi la plus utile : que fait l’annotateur lorsqu’aucune règle ne s’applique. Trois conduites sont possibles et doivent être choisies explicitement. Trancher selon son jugement et signaler le cas, ce qui préserve le rythme et alimente le référentiel. Suspendre et remonter immédiatement, ce qui garantit la cohérence au prix du débit. Ou appliquer une règle par défaut documentée, ce qui convient lorsque le cas est fréquent et l’enjeu faible. Sans cette consigne, chaque annotateur invente sa conduite, et le corpus contient un mélange de décisions individuelles non tracées.Le référentiel de cas, actif central du projet
Cette composante mérite d’être traitée comme un livrable du projet de segmentation d’images médicales plutôt que comme un sous-produit de la formation. Son contenu diffère de ce que les équipes constituent spontanément. Un catalogue de cas exemplaires apprend peu, puisque ces cas sont ceux que personne ne rate. Ce qui a de la valeur est le matériel difficile : structures imitatrices avec l’explication de ce qui les distingue, cas limites avec la décision et sa raison, situations de confluence avec la convention appliquée, et erreurs typiques du modèle d’assistance employé. Deux pratiques le maintiennent utile. Il se construit par arbitrage plutôt que par rédaction préalable, puisque les ambiguïtés qui comptent sont celles que la production révèle et non celles qu’on anticipe. Et chaque entrée consigne la raison, pas seulement la décision. Ce référentiel est l’actif dont la durée de vie est la plus longue dans un projet médical. Les modèles se réentraînent et les protocoles se révisent, mais l’accumulation des raisons pour lesquelles chaque décision difficile a été prise se transporte à travers les deux, et c’est ce qui permet à un nouvel annotateur d’atteindre le niveau de production en quelques semaines plutôt qu’en plusieurs mois.Le protocole comme document vivant
Un protocole écrit une fois avant la production et jamais rouvert est un protocole incomplet, quelle que soit la qualité de sa rédaction initiale. La raison est structurelle. Les ambiguïtés qui comptent ne se découvrent qu’au contact du corpus réel, et aucune anticipation ne les épuise. Un projet doit donc prévoir un cycle de révision, et ce cycle doit être resserré au début et espacé ensuite. Une conséquence contractuelle en découle et gagne à être posée d’emblée. Si le protocole évolue, les premiers lots ont été produits sous des règles légèrement différentes des derniers. Deux réponses existent : reprendre les lots antérieurs à chaque révision, ce qui est coûteux, ou accepter l’hétérogénéité en la documentant, ce qui est acceptable tant qu’elle est tracée. Le choix dépend de l’ampleur de la révision. Une précision qui n’affecte que des cas rares ne justifie pas une reprise ; un changement de convention sur une structure fréquente la justifie. Trancher ce point à chaque révision, plutôt que d’y venir à la livraison, est ce qui distingue un projet piloté d’un projet subi.Les sessions de calibration en segmentation d’images médicales
Un dispositif transmet en une demi-journée ce qu’un document de segmentation d’images médicales ne transmet pas, et il est peu employé. Le principe consiste à faire annoter le même lot réduit par toute l’équipe, indépendamment, puis à examiner collectivement les écarts en présence du référent clinique. Chaque divergence devient une question précise, et sa résolution alimente le référentiel de cas. Trois bénéfices se cumulent. Les conventions ambiguës apparaissent immédiatement, alors qu’elles mettraient des semaines à se manifester en production. Les annotateurs entendent le raisonnement du clinicien, ce qui leur permet de le reproduire sur des cas voisins. Et l’équipe se calibre mutuellement, ce qui réduit la variabilité plus efficacement qu’une correction individuelle. Ces sessions gagnent à être répétées périodiquement, car la dérive revient. Leur fréquence utile est élevée au démarrage, puis se réduit sans jamais disparaître complètement sur les projets longs.Le mécanisme de consensus en segmentation d’images médicales
Un protocole doit préciser non seulement les règles mais la façon dont les règles nouvelles sont établies, faute de quoi chaque arbitrage devient une négociation. Trois dispositifs de consensus se rencontrent. La décision par le référent clinique unique est la plus rapide et la plus cohérente, et sa limite est la disponibilité de la personne et la dépendance à son jugement particulier. La réunion de consensus entre plusieurs experts produit des règles plus robustes et coûte davantage. Le vote pondéré, plus rare, convient lorsque les experts relèvent de spécialités différentes ayant des conventions divergentes. Quel que soit le dispositif, deux exigences s’appliquent. La décision doit être consignée avec sa raison et sa date, ce qui la rend opposable et généralisable. Et elle doit être diffusée à toute l’équipe, non seulement à l’annotateur qui a remonté le cas, faute de quoi la même question se reposera. Ce dernier point est le plus souvent négligé. Un arbitrage rendu individuellement par messagerie améliore un examen ; le même arbitrage consigné et diffusé améliore tous les examens suivants.La qualification des annotateurs
L’étude citée en introduction apporte un second résultat, moins surprenant mais utile à poser : les annotateurs professionnels surpassent constamment les contributeurs de la plateforme participative. Ce constat vaut d’être posé parce qu’il est parfois contesté au motif que les tâches médicales seraient décomposables en micro-tâches simples. L’étude porte précisément sur des tâches d’annotation biomédicale, et l’écart y est constant. Sa conséquence pratique concerne la qualification. Un test préalable ne doit pas porter sur la qualité du tracé sur un cas standard, que la plupart des candidats réussissent, mais sur les décisions difficiles : un cas limite, une structure imitatrice, une situation où aucune règle ne s’applique. Ce test révèle en quelques minutes ce que plusieurs journées de production révéleraient autrement. Il gagne à être complété par une mesure de cohérence avec soi-même, en faisant traiter deux fois le même cas à quelques jours d’intervalle. Un annotateur en désaccord avec lui-même sur une tâche bien définie ne le sera pas moins avec les autres.Le versionnement
Un protocole de segmentation d’images médicales qui évolue doit être versionné, et cette exigence dépasse la bonne pratique documentaire. Trois éléments doivent être consignés à chaque révision. Le numéro de version et sa date, portés dans les métadonnées de chaque lot annoté. La liste des changements, exprimée en termes de règles plutôt qu’en différences de fichier. Et la décision prise quant aux lots antérieurs, reprise ou acceptation documentée de l’hétérogénéité. Cette traçabilité a trois usages. Elle permet d’expliquer une hétérogénéité observée dans le corpus plutôt que de la constater. Elle constitue une pièce de la démonstration de qualité des données dans un contexte régulé. Et elle permet, en cas de contestation sur une annotation, de vérifier quelle règle s’appliquait au moment où elle a été produite, question sans réponse en l’absence de versionnement.Le protocole face au client
Un aspect d’un protocole de segmentation d’images médicales est rarement envisagé et pèse pourtant lourdement sur la relation commerciale : le protocole est aussi ce qui rend un désaccord arbitrable. Sans protocole écrit, une contestation portant sur une annotation se règle par opinion, et l’opinion du client l’emporte par construction. Avec un protocole écrit et validé par le référent clinique, la même contestation se règle en vérifiant si la règle a été appliquée. Deux cas se présentent alors, et tous deux sont préférables au premier : soit la règle a été appliquée et le désaccord porte sur la règle, ce qui relève d’une révision partagée ; soit elle ne l’a pas été et la reprise est légitime. Cette propriété a une conséquence de méthode. Le protocole doit être validé formellement par le client avant la production, et cette validation gagne à porter sur les exemples plutôt que sur le texte, puisque c’est ce que l’annotateur appliquera réellement. Un prestataire qui propose spontanément cette validation, et qui accepte que le référentiel de cas reste accessible au client tout au long du projet, transforme un point de friction potentiel en démonstration de méthode. Le coût est nul et l’effet sur la confiance est disproportionné.Ce qui doit être documenté
Une observation issue du même champ de recherche mérite d’être relayée, car elle désigne un défaut collectif du domaine. Un travail consacré à la documentation des jeux de données relève que les aspects tels que le matériel et les détails d’acquisition sont couramment documentés, alors que les informations relatives aux pratiques d’annotation, à la quantification des erreurs d’annotation ou aux limites des données ne sont pas rapportées de façon constante, ce qui risque d’avoir des implications considérables sur la capacité des utilisateurs à détecter d’éventuelles sources de biais. Autrement dit, les projets documentent scrupuleusement les appareils et négligent les personnes et les règles. C’est un déséquilibre facile à corriger et il constitue un différenciateur pour un prestataire, puisque la documentation d’annotation est précisément ce qu’il maîtrise. Quatre éléments devraient accompagner tout corpus livré : la version du protocole avec ses règles, le profil et le nombre des annotateurs, les métriques de contrôle ventilées, et les limites connues du corpus. Ce dernier point demande une honnêteté que peu pratiquent et qui se retourne rarement contre celui qui la pratique.Qui écrit le protocole de segmentation d’images médicales
Une question d’organisation revient sur tous les projets et sa réponse est contre-intuitive. Le protocole n’est écrit ni par le clinicien seul, qui produit un document juste et inapplicable parce qu’il suppose des connaissances implicites, ni par l’équipe d’annotation seule, qui produit un document applicable et parfois faux. Le dispositif qui fonctionne fait rédiger par l’équipe d’annotation à partir des explications du clinicien, puis valider par ce dernier. Ce sens de rédaction a une propriété utile : ce que l’annotateur n’a pas compris n’apparaît pas dans le texte, et cette absence est visible à la relecture. L’inverse ne l’est pas. Le référent clinique intervient donc à trois moments et non en continu : définition initiale, validation de la rédaction, et arbitrage des cas remontés. Cette répartition est ce qui rend soutenable un projet de plusieurs milliers d’examens sans mobiliser un praticien à temps plein.Les guides existants
Une question précède l’écriture du protocole et se pose rarement : faut-il partir de zéro. Dans plusieurs domaines, des recommandations de contourage existent déjà, publiées par des sociétés savantes ou établies par consensus international. La radiothérapie en est l’exemple le plus abouti, avec des guides détaillant les limites de nombreuses structures et illustrant les cas difficiles. Reprendre un guide existant présente trois avantages. Il a été construit par consensus entre experts, ce qui lui donne une légitimité qu’un protocole interne n’aura jamais. Il résout d’emblée une partie des questions de frontière qu’un projet devrait sinon trancher lui-même. Et il facilite l’acceptation par les cliniciens qui valideront le corpus, puisqu’ils y reconnaissent une référence de leur discipline. Deux réserves l’accompagnent. Ces guides sont conçus pour la pratique clinique et non pour l’annotation en volume, si bien qu’ils laissent ouvertes les questions propres à un corpus, notamment le traitement des cas non conformes et la conduite en cas de doute. Et ils correspondent à un usage précis, généralement thérapeutique, qui peut différer de celui du projet. La démarche efficace consiste donc à s’appuyer sur le guide existant pour les définitions anatomiques et à le compléter par les règles propres à la production. Écrire un protocole de segmentation d’images médicales sans avoir vérifié qu’un guide de référence existe est une dépense évitable.Les erreurs les plus fréquentes
- Répondre à un désaccord par un paragraphe de texte supplémentaire.
- Illustrer le protocole avec des images idéales plutôt qu’issues du corpus.
- Lister ce qu’il faut inclure sans détailler ce qu’il faut exclure.
- Consigner une règle sans sa raison, ce qui empêche de la généraliser.
- Ne pas préciser la conduite à tenir en cas de doute.
- Écrire le protocole une fois et ne jamais le rouvrir.
- Rendre un arbitrage individuellement sans le consigner ni le diffuser.
- Qualifier un annotateur sur un cas standard plutôt que sur des cas difficiles.
- Ne pas versionner le protocole ni le rattacher aux lots produits.
- Documenter le matériel d’acquisition et négliger les pratiques d’annotation.
