SAM et la segmentation d’images – ce que change Segment Anything

Les modèles de segmentation généralistes ont changé le geste sans changer le problème. Ils produisent une région à partir d’un clic, ce qui déplace le travail vers la vérification, et ce déplacement modifie la nature du contrôle bien davantage que le volume de production. Cet article expose ce qu’ils changent. Il prolonge l’article consacré aux masques de segmentation.

Ce que ces modèles font

Un principe distingue ces modèles des systèmes spécialisés de segmentation d’images. Ils délimitent une région à partir d’une indication sans savoir ce qu’elle contient. Trois propriétés en découlent en segmentation d’images. Ils fonctionnent sur des catégories qu’ils n’ont jamais rencontrées. Ils ne produisent aucune classe, la désignation restant à l’annotateur. Et ils répondent à plusieurs types d’indication, point, boîte grossière ou tracé approximatif. Une conséquence pratique importante en découle. La deuxième propriété détermine leur emploi en segmentation d’images, ils accélèrent le tracé et laissent entière la décision de catégorie, qui reste le lieu où se concentrent les erreurs de fond.

Où ils fonctionnent bien

Quatre situations de segmentation d’images leur conviennent. Un objet compact bien détaché de son fond. Un contraste net entre l’objet et son voisinage immédiat. Une taille moyenne, ni minuscule ni occupant toute l’image. Et une forme fermée, sans structure ajourée ni découpe fine. Une observation importante en découle. Ces quatre situations décrivent précisément les objets que le tracé manuel traitait déjà le plus vite, ce qui signifie que le gain se concentre là où le besoin était le plus faible en segmentation d’images.

Où ils échouent

Cinq configurations les mettent en défaut. Les transitions progressives, où le modèle place une frontière nette sur une zone qui n’en a pas. Les structures ajourées, dont il remplit les vides. Les objets de même apparence en contact, qu’il fusionne ou sépare arbitrairement. Les matières continues, qui n’ont pas de contour à désigner. Et les catégories dont la définition métier ne coïncide pas avec une frontière visuelle. Une conséquence pratique s’ensuit pour un projet de segmentation d’images. La dernière configuration est la plus problématique, un modèle délimitant ce qui se voit alors que le référentiel demande de délimiter ce qui est défini, écart que rien dans le résultat ne signale.

Le décalage entre contraste et convention

Cette difficulté est propre à l’assistance en segmentation d’images. Elle mérite un traitement séparé. La frontière proposée suit le contraste, la frontière attendue suit une règle. Quatre situations produisent cet écart. Une règle de placement au milieu d’une transition, alors que le modèle choisit le maximum de contraste. Une ombre portée rattachée à l’objet par convention et exclue par le modèle. Un reflet inclus par le modèle et exclu par la règle. Et un objet dont la définition inclut une partie visuellement distincte, poignée d’un outil ou support d’un panneau. Une observation importante en découle. Ces quatre écarts produisent des contours nets et faux, catégorie de défaut qui échappe à toute vérification visuelle rapide en segmentation d’images.

Ce que le biais de validation devient

Ce mécanisme connu prend ici une forme particulière. Accepter une proposition demande moins d’effort que tracer une région. Trois manifestations en découlent en segmentation d’images. Un contour net mais décalé par rapport à la convention est validé sans examen. Une structure fine omise par le modèle n’est pas ajoutée, son absence ne sautant pas aux yeux. Et une frontière placée sur le contraste devient la norme de fait du corpus. Une conséquence pratique importante en découle. La troisième manifestation est cumulative, un corpus entièrement assisté finissant par encoder la convention du modèle plutôt que celle du projet, ce qui rend une part de lots non assistés indispensable.

Ce que le contrôle doit changer

Cinq adaptations s’imposent lorsque l’assistance produit la majorité des régions. La vérification de conformité à la règle de placement, distincte de la vérification de netteté. La recherche de structures fines omises, invisible sur un contour par ailleurs correct. Le contrôle des zones ajourées, que le modèle remplit systématiquement. La comparaison des surfaces moyennes avec un lot non assisté, révélatrice d’un décalage systématique. Et le suivi du taux de correction, qui distingue une aide d’une gêne. Une observation en découle pour un projet de segmentation d’images. La quatrième adaptation est la plus efficace, un écart de surface entre lots assistés et non assistés révélant en un calcul ce qu’un examen visuel ne montre pas.

Les modes d’indication

Quatre façons d’indiquer une région existent et elles ne se valent pas. Le point unique, rapide et ambigu, un clic sur une roue pouvant désigner la roue ou le véhicule entier. Les points positifs et négatifs, qui lèvent cette ambiguïté au prix de quelques clics supplémentaires. La boîte englobante grossière, qui contraint la région et donne le meilleur rapport entre effort et fiabilité. Et le tracé approximatif, qui guide la frontière sans la fixer. Une conséquence pratique importante en découle pour un projet de segmentation d’images. Le premier mode produit la majorité des erreurs d’échelle, un modèle sans contrainte choisissant le niveau de découpage qu’il juge le plus saillant plutôt que celui que le référentiel demande.

Comment l’employer correctement

Cinq principes gouvernent un emploi efficace de cette assistance. Réserver la désignation aux classes et aux formes où elle fonctionne, mesurées sur un lot pilote. Conserver le tracé manuel pour les structures ajourées et les transitions douces. Vérifier la conformité à la convention plutôt que la netteté du contour. Corriger systématiquement le décalage lorsqu’il est connu et constant. Et maintenir une part de lots entièrement manuels tout au long du projet. Une conséquence pratique s’ensuit. Le quatrième principe est le plus rentable et le moins pratiqué, un décalage systématique se corrigeant par un traitement uniforme plutôt que région par région en segmentation d’images.

Ce que le gain devient réellement

Quatre observations nuancent l’annonce d’un gain général en segmentation d’images. Le gain est important sur les objets compacts et contrastés. Il est nul sur les matières continues, qui représentent souvent la majorité de la surface. Il est négatif sur les structures ajourées, la correction coûtant plus que le tracé. Et il se réduit d’autant que la vérification devient exigeante. Une observation importante en découle. Ces quatre effets font que le gain réel se mesure par classe plutôt que globalement, un chiffre unique annoncé sur un corpus mixte étant systématiquement supérieur au gain constaté.

Ce que l’assistance change au chiffrage

Quatre effets modifient une estimation de projet de segmentation d’images. Le temps par région diminue sur les classes qui s’y prêtent. Le temps de vérification augmente, la conformité à la convention devenant un contrôle à part entière. La part du fond dans le budget croît, puisque seule la partie objet accélère. Et le coût de mise en place reste faible, ces modèles ne demandant aucun corpus préalable. Une conséquence pratique importante en découle pour un projet de segmentation d’images. Le troisième effet surprend au chiffrage, un projet assisté voyant sa charge se redistribuer vers les matières continues sans que le total baisse dans la proportion annoncée.

Ce qu’elle ne remplace pas

Quatre décisions restent entières malgré cette assistance. L’attribution de la classe, que le modèle ne produit pas. La règle de placement, que le modèle ignore. La séparation d’objets identiques en contact, où il tranche arbitrairement. Et le traitement des structures fines, qu’il omet ou épaissit. Cette première décision mérite d’être soulignée. Elle signifie que l’erreur de fond la plus coûteuse d’un corpus, la confusion de catégorie, reste exactement là où elle était avant cette assistance.

Aborder un projet assisté

Cinq questions cadrent un projet assisté de segmentation d’images. Quelle part des classes se prête à la désignation. Cette réponse borne le gain. La règle de placement coïncide-t-elle avec le contraste. Une réponse négative impose une correction systématique. Des structures ajourées figurent-elles au référentiel. Leur présence appelle un tracé manuel. Une part non assistée est-elle prévue. Son absence rend la dérive indétectable. Et le contrôle vérifie-t-il la convention ou la netteté. Cette distinction détermine ce qui sera attrapé. Ces cinq réponses déterminent le gain réel et le dispositif de contrôle. Les poser avant de commencer évite un corpus rapide dont les frontières encodent une règle que personne n’a choisie.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen. Cette assistance accélère le geste et déplace le risque. Trois constats la composent. Le gain se concentre sur les objets que le tracé manuel traitait déjà le plus vite, ce qui le rend inférieur à ce qu’une démonstration suggère. La frontière proposée suit le contraste et non la convention, ce qui produit des contours nets et faux. Et la classe reste entièrement humaine, ce qui laisse l’erreur la plus coûteuse exactement où elle était. Ce constat rejoint celui que les clusters précédents ont établi à propos de l’assistance, elle déplace le point de départ sans déplacer le facteur limitant.

Les erreurs les plus fréquentes

• Annoncer un gain global plutôt qu’un gain par classe.
• Employer la désignation sur des structures ajourées.
• Vérifier la netteté du contour plutôt que sa conformité à la règle.
• Supposer que le modèle connaît la définition métier des catégories.
• Omettre la part de lots non assistés.
• Corriger un décalage systématique région par région.
• Attendre du modèle qu’il sépare deux objets identiques en contact.
• Négliger l’omission des structures fines dans le contrôle.
• Oublier que le fond ne bénéficie pas de cette assistance.
• Croire que la classe est produite avec la région.

Le décalage se mesure et se corrige

Une opération transforme un défaut systématique en correction uniforme. Quatre étapes composent cette opération en segmentation d’images. Annoter manuellement un échantillon de régions selon la convention du projet. Produire les mêmes régions par désignation assistée. Mesurer l’écart moyen de surface et de position de frontière, classe par classe. Et appliquer une correction uniforme lorsque cet écart se révèle constant. Une observation importante en découle. La quatrième étape n’est possible que si l’écart est constant, ce que la troisième vérifie, un décalage variable relevant d’un problème de convention plutôt que d’un biais du modèle.

Ce que l’annotateur fait différemment

Cinq gestes distinguent un annotateur travaillant avec cette assistance en segmentation d’images. Contraindre la désignation par une boîte plutôt que par un point isolé. Vérifier la frontière contre la règle du projet et non contre l’apparence. Repérer les vides remplis dans les structures ajourées, défaut caractéristique de cette assistance. Écarter une proposition entière plutôt que corriger un contour largement faux. Et basculer en tracé manuel dès que la classe traitée figure parmi celles où l’assistance échoue. Une conséquence pratique s’ensuit. Le quatrième geste est le moins naturel, la tentation de rattraper une proposition médiocre consommant souvent plus de temps qu’un tracé neuf.

Le problème d’échelle

Une ambiguïté propre à ces modèles mérite d’être exposée. Une indication peut désigner plusieurs niveaux de découpage emboîtés. Trois cas illustrent cette ambiguïté en segmentation d’images. Un clic sur une fenêtre peut désigner la vitre, le cadre ou le bâtiment. Un clic sur une feuille peut désigner la feuille, la branche ou l’arbre. Et un clic sur une roue peut désigner le pneu, la roue ou le véhicule. Une conséquence pratique importante en découle. Ces trois cas montrent que le modèle ignore la granularité du référentiel, ce qui rend la contrainte par boîte non pas plus confortable mais nécessaire dès que la nomenclature comporte des catégories emboîtées.

Mesurer le gain réel

Cinq indicateurs quantifient l’apport réel de cette assistance en segmentation d’images. Le temps par région avec et sans assistance, relevé classe par classe. Le taux de propositions acceptées sans modification. Le taux de propositions écartées entièrement, révélateur d’une classe mal adaptée. L’écart de surface moyenne entre lots assistés et lots manuels. Et le temps de vérification, distinct du temps de production. Une observation en découle. Le troisième indicateur est le plus utile au pilotage, un taux de rejet élevé sur une classe signalant qu’elle doit être basculée en tracé manuel plutôt que subir une assistance qui la ralentit.

Le lot pilote qui qualifie l’assistance

Quatre images suffisent à décider où employer cette assistance en segmentation d’images. Une image aux objets compacts et contrastés, qui mesure le gain maximal atteignable. Une image contenant une structure ajourée, qui vérifie le comportement sur les vides. Une image aux transitions douces, qui mesure le décalage entre contraste et convention. Et une image dominée par des matières continues, qui montre la part du travail que l’assistance ne touche pas. Une observation en découle. La quatrième image est celle que l’on omet le plus souvent et celle qui corrige l’estimation, un lot pilote composé d’objets nets annonçant un gain que le corpus réel ne produira jamais.

Ce que cette assistance change au corpus livré

Trois conséquences dépassent la production et méritent d’être déclarées. Les frontières portent la signature du modèle employé, ce qui rend deux lots produits avec des outils différents subtilement incohérents. La distribution des surfaces se resserre, l’assistance produisant des contours plus réguliers que la main humaine. Et un modèle entraîné sur ce corpus apprend la convention du modèle assistant autant que celle du projet. Une conséquence pratique importante en découle pour un projet de segmentation d’images. La première conséquence justifie de déclarer l’outil d’assistance employé dans la documentation du corpus, information que personne ne consigne et qui explique pourtant les écarts entre lots.

La question qui décide de son emploi

Une question détermine si cette assistance apportera quelque chose au projet. Quelle part de la surface annotée relève d’objets compacts et contrastés. Une réponse élevée rend l’assistance décisive, la majorité du travail bénéficiant directement de la désignation. Une réponse faible la rend marginale, le gain portant sur une fraction du corpus alors que la vérification s’applique à l’ensemble. Cette question se répond en examinant quelques images représentatives, elle précède toute discussion d’outillage, et elle évite d’annoncer une économie que la composition du corpus interdit.

Ce qu’il faut dire au client

Quatre formulations rendent cette conversation honnête en segmentation d’images. Annoncer un gain par classe plutôt qu’un gain global, la composition du corpus déterminant le résultat. Exposer que le contrôle change de nature, la conformité à la convention remplaçant l’examen de netteté. Signaler que le fond ne bénéficie pas de l’assistance, ce qui borne l’économie sur les corpus exhaustifs. Et rappeler que la classe reste humaine, l’assistance ne touchant pas l’erreur la plus coûteuse. Une observation en découle pour un prestataire de segmentation d’images. La deuxième formulation distingue le plus, un client entendant généralement que l’assistance réduit le contrôle et découvrant qu’elle le déplace vers une vérification différente et tout aussi nécessaire.

Trois décisions avant de l’activer

Trois décisions encadrent l’emploi de cette assistance en segmentation d’images. Déterminer classe par classe où la désignation s’applique, sur la base d’un lot pilote plutôt que d’une intuition. Mesurer le décalage entre contraste et convention avant la production, ce qui permet de le corriger uniformément. Et fixer la part de lots non assistés au départ, valeur qui ne se renégocie pas sous la pression du délai. Ces trois décisions coûtent une journée, elles précèdent la première image, et leur absence produit un corpus rapide dont les frontières encodent la convention d’un modèle plutôt que celle du projet.

Ce que ces modèles ne remplaceront pas

Trois limites tiennent à la nature de ces modèles plutôt qu’à leur maturité. Ils délimitent ce qui se distingue visuellement, alors qu’un référentiel définit ce qui compte pour un usage. Ils ignorent la granularité attendue, plusieurs découpages emboîtés étant également valides de leur point de vue. Et ils n’ont accès à aucune règle de placement, la convention étant extérieure à l’image. Une observation en découle pour un projet de segmentation d’images. Ces trois limites ne se lèvent par aucun progrès de performance, puisqu’elles portent sur une information que l’image ne contient pas, ce qui les distingue des défauts qu’une version suivante corrigera.

La chaîne assistée complète

Cinq composants organisent une production assistée en segmentation d’images. La désignation, limitée aux classes qualifiées sur le lot pilote. Le tracé manuel, conservé pour les structures ajourées et les matières continues. La correction uniforme du décalage mesuré, appliquée en traitement plutôt que région par région. Les contrôles automatiques, échardes, trous et surfaces aberrantes, exécutés sur l’export. Et la vérification humaine de conformité, ciblée sur les classes où le décalage est variable. Une conséquence pratique s’ensuit. Le troisième composant est le plus rentable et le moins présent, il traite en une opération un défaut que la vérification humaine attraperait au cas par cas.

Ce que ce chapitre laisse au suivant

Un domaine met ces limites particulièrement en évidence. L’imagerie médicale combine trois propriétés qui contrarient cette assistance. Les frontières y sont fréquemment progressives, une lésion se fondant dans le tissu voisin. La définition des structures relève d’un savoir clinique que l’apparence ne porte pas. Et la variabilité entre experts y constitue la limite supérieure de ce qu’un corpus peut atteindre. Ces trois propriétés font de ce vertical le cas où l’écart entre contraste et convention est le plus marqué, et elles constituent l’objet du chapitre suivant.

Ce qu’il faut retenir

Les modèles de segmentation généralistes délimitent sans classer, ce qui accélère le tracé et laisse entière la décision de catégorie. Trois lectures se dégagent. Le gain se concentre sur les objets compacts et contrastés, précisément ceux que le tracé manuel traitait déjà le plus vite, ce qui le rend inférieur à ce qu’une démonstration laisse croire. La frontière proposée suit le contraste et non la convention du projet, ce qui produit des contours nets et faux qu’aucune vérification visuelle rapide ne détecte. Et un corpus entièrement assisté finit par encoder la convention du modèle, ce qui rend une part de lots non assistés indispensable. Pour un vertical où ces limites prennent une forme particulière, l’article consacré à la segmentation d’images médicales expose le contexte. Pour le cadre général, le guide de la segmentation d’images pose le panorama. Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous souhaitez évaluer ce qu’une chaîne assistée apporterait à votre corpus, échangeons sur votre projet.