Annotation 3D pour la robotique et la logistique

La robotique et la logistique se distinguent des autres verticaux de l’annotation 3D par une exigence particulière. Il ne s’agit pas d’éviter les objets mais de les saisir, et cette différence change ce que la donnée doit décrire.Cet article expose ce que ce contexte demande. Il prolonge l’article consacré à la segmentation de nuages de points.

Ce qui distingue ce contexte

Cinq propriétés caractérisent ce vertical de l’annotation 3D et le séparent nettement des autres.L’environnement est contrôlé, un entrepôt ou une cellule de production présentant une variabilité bornée.Les objets sont connus, un catalogue de références remplaçant une nomenclature ouverte.La distance de travail est courte, ce qui donne une densité de points élevée sur les objets.La finalité est la manipulation, ce qui exige la forme et non l’encombrement.Et la tolérance est fine, une erreur de quelques millimètres faisant échouer une préhension.Une conséquence pratique importante en découle. Les trois premières propriétés simplifient considérablement le travail par rapport à la conduite autonome, et les deux dernières relèvent l’exigence sur ce qui reste.

Ce que la manipulation exige

Quatre informations d’annotation 3D conditionnent une préhension réussie.La forme exacte de l’objet, un cuboïde incluant du vide autour d’une pièce non convexe.L’orientation complète, les trois angles important lorsque l’objet n’est pas posé à plat.Les surfaces de préhension, faces planes ou zones saisissables identifiées séparément.Et l’accessibilité, un objet correctement décrit pouvant rester inaccessible dans une pile.Une observation importante en découle. La troisième information distingue ce vertical de tous les autres, l’annotation ne se contentant pas de décrire un objet mais désignant les zones par lesquelles un préhenseur peut l’atteindre.

Les tâches demandées

Cinq formulations d’annotation 3D se rencontrent dans ce vertical.Leur coût diffère fortement.La détection de présence, qui suffit à un comptage ou à un contrôle de conformité.L’estimation de pose, qui donne position et orientation complètes d’une référence connue.La segmentation d’instance, qui sépare des objets identiques empilés.L’annotation de points de préhension, qui désigne où saisir.Et la classification d’état, un colis intact ou endommagé, une palette conforme ou non.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. La deuxième formulation domine la demande, l’estimation de pose sur catalogue connu constituant le besoin le plus fréquent en robotique de manipulation.

Ce que le catalogue connu change

Cette propriété transforme l’économie de ce vertical.Les objets manipulés proviennent d’un ensemble fini et documenté.Quatre conséquences directes en découlent.Les dimensions sont connues, ce qui supprime l’extrapolation et transforme l’annotation en positionnement d’un modèle.Le contrôle devient très puissant, toute dimension divergeant du catalogue signalant une erreur.La nomenclature est fermée, ce qui écarte la difficulté des classes non prévues.Et un modèle numérique de l’objet peut servir de gabarit, l’annotateur alignant une forme connue plutôt que de délimiter une inconnue.Une observation en découle. La dernière conséquence change la nature du geste, l’annotation devenant un recalage plutôt qu’une délimitation, ce qui la rend plus rapide et plus reproductible qu’en environnement ouvert.

La difficulté de l’empilement

Cette configuration domine les difficultés d’annotation 3D dans ce contexte.Des objets identiques empilés en vrac se recouvrent mutuellement.Quatre effets se cumulent en annotation 3D.Chaque objet n’est observé que partiellement, une face au mieux étant visible.Les frontières entre objets identiques n’ont aucune signature géométrique.L’orientation devient difficile à établir sur une observation partielle.Et le dénombrement lui-même devient incertain dans les couches profondes.Une conséquence pratique importante en découle pour un projet d’annotation 3D. Ces quatre effets justifient une convention de profondeur, seuls les objets accessibles depuis le dessus étant annotés, ce qui correspond d’ailleurs à ce qu’un robot peut effectivement saisir.

Ce que la courte distance apporte

Quatre avantages accompagnent un capteur proche de la scène.La densité de points est élevée, ce qui rend les formes descriptibles avec précision.La classe est rarement ambiguë, la géométrie suffisant à identifier une référence connue.Les frontières entre objets sont mieux résolues lorsqu’un écart existe.Et les conditions d’éclairement sont maîtrisées, ce qui rend la donnée reproductible.Une observation importante en découle. Ces quatre avantages déplacent la difficulté de la perception vers la précision, ce vertical ne posant pas le problème de savoir ce qu’on voit mais celui de le décrire assez finement pour agir dessus.

Les surfaces difficiles

Quatre matériaux courants en logistique dégradent la donnée d’annotation 3D.Le film plastique transparent, omniprésent sur les palettes et invisible pour un capteur optique.Le métal poli, qui produit des réflexions et des points aberrants.Les surfaces noires mates, dont le retour est trop faible pour être mesuré.Et le carton brillant, dont le comportement varie avec l’angle d’incidence.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Ces quatre matériaux composent l’essentiel d’un environnement logistique, ce qui rend la convention sur les points manquants et aberrants plus déterminante ici que dans tout autre vertical.

Annoter les points de préhension

Une tâche distincte accompagne souvent la description géométrique et elle mérite un traitement séparé.Désigner où saisir un objet suppose des critères que la forme seule ne fournit pas.Cinq critères la composent en pratique.La planéité locale, une ventouse exigeant une surface continue d’une taille minimale.L’écartement disponible, une pince ayant besoin d’un espace de part et d’autre.La résistance de la zone, un emballage souple ne supportant pas la même prise qu’une paroi rigide.L’équilibre, un point de saisie éloigné du centre de masse provoquant une rotation.Et l’accessibilité effective, une surface parfaite mais recouverte étant inutilisable.Une conséquence pratique importante en découle pour un projet d’annotation 3D. Ces cinq critères dépendent du préhenseur employé, ce qui rend un corpus de points de préhension spécifique à un équipement plutôt que réutilisable, distinction à poser avant de le constituer.

Le contrôle qualité adapté

Cinq vérifications exploitent les propriétés de ce contexte.La conformité au catalogue, toute dimension divergente signalant une erreur de pose ou de référence.La non-intersection entre objets, deux solides ne pouvant occuper le même volume.La cohérence gravitaire, un objet flottant sans support signalant une erreur de position.L’accessibilité déclarée, un objet marqué saisissable et physiquement recouvert constituant une contradiction.Et la stabilité du recalage, deux annotateurs alignant le même modèle devant obtenir des poses proches.Une observation importante en découle. Le premier contrôle est le plus puissant de tous les verticaux 3D, le catalogue fournissant une vérité dimensionnelle exacte que ni la route ni la forêt ne fournissent en annotation 3D.

Ce que ce travail coûte

Quatre facteurs déterminent la charge d’annotation 3D dans ce vertical.Le taux de recouvrement entre objets, facteur dominant qui détermine la difficulté par objet.Le nombre d’objets par scène, souvent élevé dans un bac ou sur une palette.L’exigence sur l’orientation, une préhension précise demandant les trois angles.Et la présence de points de préhension à annoter séparément.Une conséquence pratique en découle. Le premier facteur produit une variation considérable, une scène d’objets séparés et une scène de vrac dense ne se comparant pas même à nombre d’objets égal en annotation 3D.

Ce que la pré-annotation apporte ici

Trois observations situent l’apport de l’assistance à l’annotation 3D dans ce contexte.Le recalage automatique d’un modèle connu fonctionne bien sur objets isolés et bien observés.Il échoue en vrac dense, l’observation partielle admettant plusieurs poses également compatibles.Et la vérification reste rapide, un désalignement se voyant immédiatement lorsque le modèle est superposé au nuage.Une observation en découle pour un projet d’annotation 3D. Le troisième constat rend l’assistance particulièrement rentable ici, le coût de vérification étant faible et le gain élevé, configuration plus favorable que dans les verticaux à nomenclature ouverte.

Ce que ce vertical ne permet pas

Quatre limites bornent ce qu’une annotation 3D peut établir ici.Un objet entièrement recouvert ne produit aucun point et reste hors d’atteinte.Une surface transparente ne se mesure pas, ce qui laisse un vide dans la donnée là où un objet existe.Un objet déformable, sac ou textile, n’a pas de modèle géométrique stable à recaler.Et l’orientation d’un objet à symétrie de révolution reste indéterminée autour de son axe.Cette troisième limite mérite d’être soulignée. Elle signifie qu’un catalogue mêlant objets rigides et objets souples appelle deux traitements distincts, le second relevant de la segmentation plutôt que de l’estimation de pose.

Aborder un projet en robotique

Cinq questions cadrent un projet d’annotation 3D en robotique.Le catalogue d’objets est-il fermé et documenté. Une réponse positive transforme l’annotation en recalage.Les objets sont-ils présentés séparés ou en vrac. Cette réponse détermine le facteur de coût principal.Quels matériaux composent les objets. Cette réponse prédit les zones sans donnée.Des points de préhension sont-ils attendus. Cette réponse ajoute une tâche distincte.Et quelle tolérance la préhension exige-t-elle. Cette réponse borne ce qui doit être promis.Ces cinq réponses déterminent la charge et la faisabilité. Les poser avant de commencer évite un corpus précis sur des objets qu’aucun préhenseur n’atteindra.

Ce que ce chapitre enseigne

Une observation transversale mérite de clore cet examen.Ce vertical inverse le rapport habituel entre difficulté de perception et exigence de précision.Trois constats la composent.L’environnement contrôlé et le catalogue fermé suppriment la plupart des ambiguïtés de classe qui dominent les autres verticaux.L’exigence de préhension impose une précision que ni la conduite ni la cartographie ne demandent.Et le catalogue fournit une vérité dimensionnelle exacte, ce qui rend le contrôle plus puissant ici que partout ailleurs.Ce constat rejoint celui que les séries précédentes ont établi à propos des environnements maîtrisés : la contrainte se déplace de l’identification vers la mesure, et le corpus vaut par sa précision plutôt que par sa couverture.

Les erreurs les plus fréquentes

• Employer un cuboïde là où la préhension exige la forme réelle.
• Négliger l’annotation des surfaces de préhension.
• Annoter les objets inaccessibles au fond d’un vrac.
• Ignorer le film plastique transparent dans la convention.
• Traiter les objets déformables comme des objets à recaler.
• Exiger une orientation sur un objet à symétrie de révolution.
• Omettre le contrôle de conformité au catalogue, le plus puissant du vertical.
• Chiffrer au nombre d’objets sans tenir compte du recouvrement.
• Accepter une proposition de recalage en vrac dense sans vérification.
• Ne pas déclarer la tolérance exigée par le préhenseur.

Ce que le jumelage avec un modèle apporte

Une méthode propre à ce vertical mérite d’être exposée car elle change la nature du travail.Un modèle numérique de chaque référence permet de remplacer la délimitation par un alignement.Quatre bénéfices concrets en découlent en annotation 3D.La forme livrée est exacte, y compris sur les faces non observées, puisqu’elle provient du modèle et non d’une extrapolation.La cohérence entre annotations est totale sur une même référence.Le contrôle se réduit à vérifier un alignement plutôt qu’à évaluer une délimitation.Et le geste se transmet rapidement, aligner étant plus facile à enseigner que délimiter.Une observation importante en découle. Ces quatre bénéfices supposent que le client fournisse ses modèles numériques, demande simple qui aboutit rarement au premier échange et qui vaut d’être formulée explicitement au cadrage.

Les usages hors préhension

Quatre applications relèvent de ce vertical sans concerner la manipulation, et elles sont moins exigeantes en annotation 3D.Le contrôle de chargement, qui vérifie qu’une palette ou un conteneur correspond au bon de commande.La mesure de volume occupé, qui optimise le remplissage et se satisfait d’une enveloppe.La détection d’obstacles pour un chariot autonome, qui relève de la logique d’évitement plutôt que de saisie.Et le contrôle d’intégrité, un colis déformé ou une palette bancale se détectant par comparaison à une forme attendue.Une observation en découle pour un prestataire d’annotation 3D. Ces quatre applications se satisfont d’un cuboïde ou d’une enveloppe, ce qui les place dans le régime le plus économique, et elles représentent une part importante du besoin réel des exploitants logistiques.

Ce que la répétabilité permet

Une propriété de l’environnement contrôlé ouvre une possibilité que les verticaux ouverts n’offrent pas.La même scène peut être capturée plusieurs fois dans des conditions identiques.Trois exploitations en découlent en annotation 3D.La constitution d’exemples difficiles par mise en scène délibérée, un vrac dense ou un objet mal orienté se reproduisant à volonté.La mesure de la variabilité du capteur, deux captures d’une scène immobile révélant le bruit propre à l’équipement.Et la vérification d’une annotation par une capture sous un autre angle, qui révèle les faces extrapolées à tort.Une conséquence pratique importante en découle pour un projet d’annotation 3D. La première exploitation résout la difficulté des classes rares que les autres verticaux subissent, les configurations problématiques se produisant sur demande plutôt que s’attendant.

Le premier lot d’un projet robotique

Quatre scènes composent un lot pilote qui éprouve réellement les conventions.Une scène d’objets séparés et bien présentés, qui fournit la cadence de référence.Une scène de vrac dense, qui mesure le facteur de coût principal du vertical.Une scène contenant un matériau problématique, film transparent ou métal poli, qui éprouve la convention sur les points manquants.Et une scène avec un objet déformable si le catalogue en comporte, qui vérifie que le traitement distinct est bien prévu.Une observation en découle. L’écart de cadence entre les deux premières scènes est la donnée la plus utile de ce lot, il mesure directement l’effet du recouvrement et il fournit la base d’un chiffrage que le nombre d’objets ne permet pas d’établir en annotation 3D.

Les conventions à écrire en premier

Cinq règles couvrent la majorité des désaccords dans ce vertical.La profondeur d’annotation en vrac, exprimée par un critère d’accessibilité plutôt que par un nombre de couches.Le sort des zones sans donnée dues aux surfaces transparentes ou réfléchissantes.Le traitement des objets déformables, écartés du recalage et renvoyés vers une segmentation.La conduite à tenir sur les objets à symétrie de révolution, dont l’orientation reste indéterminée autour de l’axe.Et le seuil de recouvrement au delà duquel un objet est déclaré non saisissable.Une conséquence pratique s’ensuit pour un projet d’annotation 3D. Ces cinq règles portent toutes sur des situations que le catalogue ne documente pas, ce qui confirme que la difficulté de ce vertical réside dans la présentation des objets plutôt que dans leur identification.

Comment le corpus vieillit

Une propriété distingue ce vertical sur la durée et elle mérite d’être exposée au client.Un catalogue d’objets évolue, des références entrant et sortant régulièrement.Trois conséquences pratiques en découlent.Une référence retirée ne dévalue pas le corpus, ses exemples restant valides pour ce qu’ils décrivent.Une référence nouvelle demande un enrichissement ciblé plutôt qu’une reprise complète.Et un changement d’emballage sur une référence existante invalide les exemples correspondants sans toucher aux autres.Une observation importante en découle pour un projet d’annotation 3D. Ces trois conséquences rendent la métadonnée de référence indispensable, sans identifiant produit sur chaque exemple il devient impossible de retirer sélectivement les objets périmés et le corpus se dégrade globalement plutôt que localement.

La question qui cadre le projet

Une question détermine le régime de coût et elle porte sur la présentation des objets.Les objets arrivent-ils séparés ou en vrac.Une réponse orientée présentation ordonnée, convoyeur ou alvéole, place le projet dans le régime le plus économique, chaque objet étant bien observé et facilement recalé.Une réponse orientée vrac impose un travail plusieurs fois supérieur, l’observation partielle et l’absence de frontière géométrique dominant la difficulté.Cette question porte sur l’amont physique plutôt que sur l’annotation, et elle ouvre parfois une correction que le client n’avait pas envisagée, une modification de présentation coûtant moins qu’un corpus de vrac.

Trois vérifications avant de livrer

Trois contrôles suffisent à écarter la majorité des défauts d’un lot en robotique.Comparer chaque objet annoté aux dimensions de sa référence au catalogue, écart qui signale un recalage erroné ou une confusion de référence.Détecter les intersections entre objets, deux solides ne pouvant occuper le même volume et un chevauchement trahissant une pose approximative.Et vérifier que les objets déclarés saisissables ne sont pas recouverts par d’autres, contradiction fréquente en vrac dense.Ces trois contrôles s’exécutent sur un export livré, ils exploitent le catalogue plutôt qu’une référence externe, et ils couvrent ce qui distingue un corpus exploitable par un robot d’un corpus visuellement correct.

Ce que ce vertical apporte aux autres

Trois pratiques nées ici valent au delà de la robotique.Le recalage d’un modèle connu plutôt que la délimitation, applicable partout où les objets proviennent d’un ensemble fini et documenté.Le contrôle par comparaison à une vérité dimensionnelle externe, transposable dès qu’un référentiel de tailles existe.Et la constitution délibérée de configurations difficiles, possible chaque fois que la scène peut être mise en place plutôt qu’observée.Ces trois pratiques supposent un environnement maîtrisé, condition que peu de verticaux remplissent, ce qui explique qu’elles restent peu diffusées malgré leur efficacité.

Trois décisions avant le premier lot

Trois décisions engagent la faisabilité d’un projet d’annotation 3D en robotique.Obtenir les modèles numériques des références, qui transforment le travail et le contrôle.Fixer le critère d’accessibilité en vrac, qui borne le nombre d’objets à traiter par scène.Et déclarer la tolérance exigée par le préhenseur, qui détermine la précision à atteindre et ce qui peut être promis.Ces trois décisions coûtent une réunion et quelques échanges de fichiers, elles précèdent la première capture, et leur absence produit un corpus soigné dont la précision ne correspond à aucune exigence identifiée.

Ce qu’il faut retenir

La robotique et la logistique demandent la forme et non l’encombrement, ce qui écarte le cuboïde et impose une précision que les autres verticaux ne demandent pas.Trois lectures se dégagent. Le catalogue fermé transforme l’annotation en recalage d’un modèle connu, ce qui la rend plus rapide et plus reproductible et fournit le contrôle le plus puissant de tous les verticaux 3D. Le taux de recouvrement entre objets domine le coût, une scène de vrac dense et une scène d’objets séparés ne se comparant pas même à nombre égal. Et les matériaux courants en logistique, film transparent et métal poli, produisent des zones sans donnée qui rendent la convention sur les points manquants plus déterminante ici qu’ailleurs.Pour l’arbitrage entre sources de données, l’article consacré au choix entre LiDAR et photogrammétrie expose les critères. Pour le cadre général, le guide de l’annotation 3D pose le panorama.Pour approfondir les modalités d’exécution, les formats pris en charge et les dispositifs de contrôle applicables, vous pouvez consulter notre page dédiée à l’annotation 2D et 3D. Et si vous préparez un corpus pour de la manipulation robotisée, échangeons sur votre projet.