Méthodologie

Méthodologie

Grâce à une méthodologie d’annotation maîtrisée, à la montée en compétence continue de nos équipes et à une cybersécurité renforcée, nous protégeons vos données tout en optimisant leur valeur pour l’entraînement de vos modèles d’IA.

EXpertises

Un process en six étapes pour entraîner vos modèles IA

Chez Infoscribe.ai, chaque projet d’annotation suit un processus rigoureux, pour transformer vos données brutes en jeux d’apprentissage fiables, cohérents et directement exploitables par vos modèles d’IA.

Human in the Loop

Nous plaçons l’humain au cœur de notre approche : nos annotateurs valident, invalident ou corrigent les prédictions de votre IA pour en renforcer la précision, la robustesse et la fiabilité opérationnelle.

Nous concevons des workflows et des API sur mesure, intégrés à vos outils, afin de vous donner un accès en temps réel à des flux de données contrôlés, documentés et traçables, parfaitement adaptés aux exigences de vos cas d’usage et de vos équipes produit ou data au quotidien.

Ce contrôle est effectué dans des délais très courts, suivant les tâches, nous pouvons nous engager à contrôler un lot dans des délais allant jusqu’à 5min

Notre politique qualité :
3 niveaux d’engagement

Nous adaptons notre dispositif qualité à vos enjeux, avec trois niveaux d’engagement clairs pour équilibrer précision, budget et délais projets.

Qualité visée

95%

1. Lancement

2. Production

3. Contrôle continu de la qualité :

Qualité visée

97%

1. Lancement

2. Production

3. Contrôle continu de la qualité :

Qualité visée

99%

1. Lancement

2. Production

3. Contrôle continu de la qualité :

Formation et montée
en compétences des annotateurs

Nous encadrons nos annotateurs avec des formations régulières et ciblées pour maintenir un haut niveau de qualité sur chaque projet.

Formation initiale des annotateurs d’images

Dès le démarrage du projet, nos opérateurs sont formés lors de sessions animées par nos chefs de projet, à partir des consignes et exemples que vous nous fournissez.

Si nécessaire, vos experts peuvent également intervenir directement pour former nos chefs de projet en visioconférence, afin d’aligner parfaitement la compréhension métier.

À l’issue de ces ateliers, nous organisons une session d’annotation en direct : les annotateurs travaillent sur de vrais cas, posent leurs questions en temps réel et corrigent immédiatement les erreurs avec l’aide du chef de projet.

Formation continue

La production lancée, nous suivons quotidiennement la qualité de chaque annotateur grâce à une matrice de compétences nous permettant de repérer rapidement les opérateurs ayant des points de fragilité en précision ou en vitesse.

Les profils identifiés sont accompagnés par des annotateurs plus expérimentés dans une logique de mentorat et d’apprentissage collaboratif. Les chefs de projet restent disponibles pour répondre aux questions.

Chaque retour client ou évolution de consignes donne lieu à une nouvelle session de formation suivie d’une séance d’annotation en groupe pour s’assurer que les règles mises à jour sont bien comprises et appliquées par tous.

FAQ

Questions fréquentes

Chaque projet commence par un pilote réalisé sur un échantillon représentatif de vos données. Cette phase englobe l’analyse des données et des consignes d’annotation, la compréhension de vos objectifs de qualité, l’identification des cas ambigus, les échanges avec vos équipes pour préciser les règles lorsque nécessaire, ainsi que la définition des canaux de communication et du fonctionnement opérationnel du projet.

Le pilote nous permet de construire et de tester le processus d’annotation et de contrôle qualité sur des cas réels, de mesurer la cadence de production, d’identifier les principales sources d’erreur et de valider avec vous les consignes avant le passage à l’échelle.

À l’issue du pilote, nous disposons des éléments nécessaires pour vous proposer un prix ferme, un planning de production et un dimensionnement d’équipe adaptés aux volumes à traiter. L’équipe de production est ensuite formée sur la base des consignes et des enseignements du pilote avant le lancement de la production.

Nous proposons trois niveaux de qualité contractuelle : 95 %, 97 % ou 99 %. Le niveau est défini avec vous en fonction des exigences du projet, de la complexité des annotations et du niveau de contrôle nécessaire.

La production est contrôlée à plusieurs niveaux. Les annotations font d’abord l’objet d’un contrôle intégré à la production, auquel peuvent s’ajouter un contrôle indépendant réalisé par une seconde équipe et une vérification supplémentaire par le chef de projet. Le taux d’échantillonnage appliqué à ces différents contrôles augmente selon le niveau de qualité contractuel choisi.

La qualité est mesurée régulièrement sur des échantillons contrôlés et suivie pendant toute la production. Les erreurs identifiées sont documentées, analysées et utilisées pour faire évoluer les consignes et les checklists de l’équipe.

Si le niveau de qualité mesuré est inférieur aux 95 %, 97 % ou 99 % convenus contractuellement, les données concernées sont corrigées ou réannotées sans frais supplémentaires jusqu’à atteindre le niveau attendu.

Notre objectif est de produire au bon niveau de qualité dès la première livraison et d’éviter à nos clients des cycles de retours et de corrections qui leur font perdre du temps.

Si un contrôle révèle un niveau de qualité inférieur au seuil contractuel de 95 %, 97 % ou 99 %, nous ne nous contentons pas de corriger les annotations concernées. Une investigation est d’abord menée pour identifier l’origine des erreurs, comprendre pourquoi elles ont échappé aux contrôles et mettre en place les actions correctives nécessaires afin d’éviter qu’elles ne se reproduisent sur la suite de la production.

Les données concernées sont ensuite corrigées ou réannotées, puis soumises à un nouveau contrôle avant livraison. L’ensemble de ces reprises est réalisé sans frais supplémentaires pour le client. Notre engagement porte ainsi autant sur l’atteinte du niveau de qualité contractuel que sur la résolution durable des causes d’erreur.

Oui. Infoscribe s’adapte à votre environnement technique et au niveau de sensibilité de vos données. Nos équipes peuvent travailler directement sur vos plateformes d’annotation existantes, comme CVAT, Label Studio, Supervisely, SuperAnnotate, V7 ou sur des outils propriétaires, sans vous imposer de migration vers une solution spécifique.

Lorsque les données doivent rester au sein de l’Union européenne, nous pouvons également héberger l’environnement de travail sur nos infrastructures situées en France et organiser les accès des équipes en fonction des contraintes de sécurité définies avec vous.

Pour les données les plus sensibles, qui ne peuvent pas quitter vos propres serveurs, nous pouvons vous accompagner dans l’installation et la configuration d’outils d’annotation directement sur votre infrastructure. Nos équipes se connectent ensuite à cet environnement sécurisé pour réaliser l’annotation et le contrôle sans nécessiter le transfert des données vers nos serveurs.

Le choix de l’architecture, des outils, des accès, des rôles et du workflow de production et de contrôle est défini pendant le pilote afin de construire un environnement adapté à vos exigences de sécurité, de confidentialité et de localisation des données.

Infoscribe est certifiée ISO 27001:2022. La sécurité des données est intégrée à l’ensemble du projet, depuis leur réception jusqu’à leur livraison et, le cas échéant, leur suppression en fin de prestation.

Les accès aux données et aux outils sont attribués selon les besoins du projet et limités aux personnes autorisées. Les transferts de données sont sécurisés et chiffrés, et l’intégrité des fichiers peut être vérifiée par checksum lors des échanges.

Lorsque les données présentent des contraintes particulières de confidentialité ou de localisation, nous adaptons l’architecture du projet : traitement sur nos infrastructures en France lorsque les données doivent rester dans l’Union européenne, recours à un hébergement HDS pour les données de santé lorsque le projet l’exige, ou travail directement sur l’infrastructure du client lorsque les données ne peuvent pas quitter ses serveurs.

Pour certaines données sensibles, notamment médicales, une étape de dé-identification peut également être réalisée avant leur mise à disposition des équipes d’annotation.

La traçabilité est définie dès le pilote et maintenue pendant toute la production. Selon les besoins du projet, nous pouvons conserver l’historique des versions des consignes, des lots traités, des contrôles qualité réalisés, des taux de conformité mesurés, des non-conformités identifiées ainsi que des corrections et réannotations effectuées.

Les évolutions importantes des règles d’annotation sont documentées afin de pouvoir comprendre quelles consignes ont été appliquées à chaque étape du projet. Les reportings réguliers permettent également de suivre les volumes produits, les résultats qualité et l’avancement par rapport au planning.

Lorsque le projet l’exige, ces informations peuvent être consolidées à la clôture dans un dossier de gouvernance des données. Celui-ci fournit au client une documentation structurée des opérations réalisées sur son dataset et peut notamment contribuer à documenter les pratiques de gouvernance des données attendues pour les systèmes concernés par l’article 10 de l’AI Act.

Pour les systèmes d’IA à haut risque concernés, l’article 10 de l’AI Act impose des pratiques de gouvernance et de gestion des données d’entraînement, de validation et de test. Ces exigences portent notamment sur l’origine et les processus de collecte des données, les opérations de préparation comme l’annotation, l’étiquetage, le nettoyage ou l’enrichissement, l’adéquation et la représentativité des datasets, l’identification des biais ainsi que le traitement des éventuelles lacunes.

Infoscribe peut intégrer ces exigences dès le pilote et assurer la traçabilité des opérations réalisées pendant la production. Selon le périmètre du projet et les informations mises à notre disposition, nous pouvons notamment documenter la provenance des données, les versions des consignes d’annotation, les règles appliquées, les opérations réalisées sur les données, les contrôles qualité, les taux de conformité mesurés, les non-conformités identifiées ainsi que les corrections et réannotations effectuées.

Ces éléments peuvent être consolidés dans un dossier de gouvernance des données remis avec le dataset. L’objectif est de vous permettre de disposer d’une documentation structurée et exploitable des opérations réalisées sur vos données, plutôt que de devoir reconstituer cet historique a posteriori.

Cette documentation contribue à votre préparation aux exigences de l’AI Act mais ne constitue pas, à elle seule, une certification de conformité de votre système d’IA. La conformité dépend de l’ensemble du système et des obligations applicables à son fournisseur.

Le calendrier dépend de la catégorie du système. Pour les systèmes d’IA à haut risque relevant de l’annexe III, notamment certains usages dans l’emploi, l’éducation, la biométrie, les infrastructures critiques, l’accès à certains services essentiels, la justice ou la migration, les obligations concernées s’appliquent à partir du 2 décembre 2027.

Pour les systèmes d’IA à haut risque intégrés à des produits réglementés relevant de l’annexe I, notamment certains dispositifs médicaux, machines ou autres produits soumis à une réglementation européenne spécifique, l’échéance est fixée au 2 août 2028.

Pour la gouvernance des données, il est pertinent d’anticiper ces échéances. La provenance des données, les versions des consignes, les opérations d’annotation, les contrôles qualité et l’historique des corrections sont beaucoup plus simples à documenter au moment où ils sont produits que plusieurs mois ou années plus tard.