Introduction
La plupart des discussions sur l'intelligence incarnée se concentrent sur le modèle — l'architecture, le réseau de politiques, le moteur de simulation. Beaucoup moins s'intéressent à ce qui détermine réellement son fonctionnement : les données à partir desquelles le modèle apprend.
C'est la partie que nous construisons.
Au cours des neuf dernières années, nous avons développé des systèmes de collecte de données permettant de saisir comment les humains se déplacent, manipulent des objets et accomplissent des tâches, et de transformer ces données en ensembles structurés directement utilisables par les équipes de robotique et d'IA incarnée. Cet article explique le fonctionnement de ce système et pourquoi les détails sont plus importants qu'il n'y paraît.
Pourquoi la plupart des ensembles de données existants sont insuffisants
Les modèles de base se sont développés plus rapidement que les données du monde physique nécessaires à leur mise en œuvre. La plupart des jeux de données de mouvement et d'interaction disponibles publiquement présentent trois limitations communes : ce sont de courts clips capturés depuis un point de vue fixe, sans possibilité de reconstituer l'action réelle de la personne ; ils enregistrent le mouvement d'une main, mais pas sa raison (absence de structure de la tâche, de contexte d'interaction avec l'objet, et donc d'éléments permettant à une politique d'apprendre l'intention) ; enfin, ces données sont capturées une seule fois, dans un seul environnement, et ne sont pas facilement transposables à un robot opérant dans un autre contexte.
Ce n'est pas un problème de volume de données, mais de structure des données. On peut avoir un million d'heures de vidéo et ne toujours rien avoir d'utile à un robot pour apprendre une compétence.
Comment nous Capturer le mouvementDeux systèmes, sept scénarios
Nous utilisons deux systèmes de capture de mouvement en parallèle, car ils résolvent des problèmes différents.
Nous utilisons la capture optique Vicon lorsque la précision prime sur la mobilité : pour les tâches en environnement contrôlé nécessitant un suivi squelettique submillimétrique et des trajectoires précises à l’image près. Plus précisément, elle couvre trois scénarios :
- Scénario 1 : Tâches de manipulation fine. Mouvements d'assemblage, de prélèvement et de placement, et d'utilisation d'outils où les angles d'articulation des doigts et le moment du contact doivent être précis, sans aucune marge d'erreur.
- Scénario 2 : Mouvement de référence pour la validation de la simulation. Les moteurs de simulation numérique et physique ont besoin d'un ensemble de données de mouvement de niveau réel pour s'étalonner.
- Scénario 3 : Capture biomécanique. L'analyse des mouvements sportifs et l'analyse des mouvements de rééducation nécessitent toutes deux des trajectoires squelettiques précises à l'échelle de l'image.
Nous utilisons la capture inertielle Xsens lorsque la tâche nécessite de sortir du laboratoire : elle enregistre les mouvements du corps entier dans des environnements réels et non contraints, où une personne se déplace naturellement dans l’espace plutôt que de poser devant une caméra. Plus précisément, elle couvre quatre scénarios :
- Scénario 4 : Capture d'activités quotidiennes dans de véritables maisons ou bureaux. Des personnes accomplissant des tâches ordinaires dans des environnements de vie naturels, sans être limitées par l'espace physique d'un studio.
- Scénario 5 : Collaboration ou interaction à plusieurs personnes. Des tâches comme la préparation de commandes en entrepôt ou l'assistance en magasin, où plusieurs personnes sont présentes simultanément.
- Scénario 6 : Capture de mouvement en grand espace ou en extérieur. Travaux de terrain en extérieur ou déplacements sur de longues distances dans une usine — des espaces trop vastes pour la zone de couverture d'un système optique.
- Scénario 7 : Capture de volontaires multisite et distribuée. Lorsque le même protocole de capture doit être répliqué dans différentes villes et auprès de différentes populations de volontaires, la portabilité et le déploiement rapide de Xsens en font la solution idéale pour la mise à l'échelle.
Aucun de ces systèmes ne permet, à lui seul, d'obtenir un jeu de données exploitable. La capture optique, sans prise en compte des variations du monde réel, fournit des données nettes mais limitées ; la capture inertielle, sans précision, offre une large couverture sans fidélité. Le choix du système – et des scénarios évoqués ci-dessus que le projet doit couvrir – dépend des exigences de la tâche d'entraînement en aval, sujet généralement abordé lors de notre première discussion avec le client, avant toute acquisition.
Du mouvement brut à quelque chose qu'un modèle peut réellement apprendre
Les trajectoires squelettiques brutes ne constituent pas des données d'entraînement. Leur utilisation repose sur la couche de structuration que nous créons par-dessus. Le mouvement est segmenté en séquences d'actions temporelles, associé aux objets avec lesquels l'interaction se produit, et organisé au niveau de la tâche plutôt qu'au niveau de l'image. Ainsi, un modèle n'apprend pas seulement « les angles articulaires ont changé », mais « voici à quoi ressemble le fait de prendre une tasse et de verser, y compris les cas d'échec et les mouvements de récupération ».
C'est également à cette étape que se concentre la majeure partie de notre temps d'ingénierie. La capture est la partie visible du processus ; l'alignement, le nettoyage et la structuration sont les étapes qui déterminent si l'ensemble de données est utilisable six mois plus tard par une équipe qui n'était pas présente lors de l'enregistrement.
Saisir les deux aspects d'une action : Points de vue égocentriques et exocentriques
Un robot apprenant à imiter le comportement humain doit comprendre deux choses simultanément : l’intention de la personne et l’apparence de la scène qui l’entourait au moment où elle agissait. Aucun angle de caméra unique ne permet d’obtenir ces deux informations simultanément, et c’est là l’une des faiblesses les plus sous-estimées des ensembles de données d’IA incarnée.
Les images égocentriques (vue subjective) sont capturées par une caméra fixée sur la tête ou le torse, qui suit les mouvements de l'acteur. Elles enregistrent l'intention et la prise de décision étape par étape : ce que la personne regarde juste avant de saisir un objet, la manière dont sa main s'en approche, les micro-ajustements effectués en cours de tâche lorsqu'un imprévu survient. C'est cette perspective qui explique le pourquoi d'un mouvement, et pas seulement son occurrence. C'est également la perspective la plus proche de celle que la caméra embarquée du robot captera à terme ; ainsi, pour l'apprentissage par imitation, les données égocentriques correspondent souvent mieux aux conditions réelles d'utilisation.
L'inconvénient, c'est que les images filmées de manière égocentrique sont par nature bruitées. La caméra suit les mouvements de la tête, ce qui engendre un flou de mouvement constant, un cadrage qui coupe précisément l'objet que l'on souhaite voir, et l'absence de point de repère fixe pour situer les objets dans l'espace. En soi, une telle image indique ce que quelqu'un avait l'intention de faire, mais pas où il se trouvait au moment où il le faisait.
Les prises de vue exocentriques (à la troisième personne) sont capturées par des caméras fixes ou montées sur un support, positionnées autour de la scène. Elles enregistrent le contexte spatial et environnemental que les prises de vue égocentriques ne peuvent pas saisir : la position absolue de chaque objet par rapport à tous les autres, les interactions entre les différents acteurs présents dans la scène, et la géométrie complète de l’espace de travail. Si une tâche implique plusieurs personnes, ou un objet qui sort du champ de vision de l’acteur, seules les prises de vue exocentriques fournissent cette information.
Le compromis s'effectue dans l'autre sens : les images exocentriques montrent tout ce qui s'est passé dans la pièce, mais rien de ce à quoi l'acteur prêtait attention ni des raisons de ses choix. Deux personnes effectuant le même mouvement peuvent avoir des intentions totalement différentes, et une caméra à la troisième personne ne peut pas, à elle seule, les distinguer.
Pourquoi la fusion des points de vue est plus importante que chaque perspective prise isolément. Aucune n'est suffisante à elle seule, et la plupart des jeux de données existants en privilégient une et acceptent l'écart. Les jeux de données exclusivement égocentriques produisent des modèles capables d'imiter les trajectoires de la main, mais qui peinent à se situer dans l'espace : ils ignorent leur position. Les jeux de données exclusivement exocentriques produisent des modèles qui comprennent bien la scène, mais dont la sémantique des tâches est faible : ils peuvent décrire ce qui se passe, mais ne peuvent ni prédire la suite ni en expliquer les raisons.
Fusionner les deux flux nécessite de résoudre un problème plus complexe que leur simple enregistrement : chaque image du flux égocentrique doit être alignée temporellement et spatialement avec les images correspondantes de chaque caméra exocentrique, malgré des géométries, des fréquences d'images et des coordonnées de référence totalement différentes entre les deux systèmes. Un léger décalage dans l'alignement conduit à un entraînement sur des données où le signal d'« intention » et le signal de « contexte » ne correspondent pas au même instant de l'action – ce qui est pire qu'une absence totale de fusion, car le modèle apprend alors une fausse corrélation.
C’est à cette étape que se concentre l’essentiel de notre travail d’étalonnage et de synchronisation. Correctement réalisée, elle permet d’obtenir un ensemble de données où un modèle peut apprendre simultanément les deux aspects d’une même action : l’intention de la personne et l’apparence de son environnement au moment de l’exécution. Ce fonctionnement se rapproche ainsi de la manière dont un robot devra raisonner une fois déployé.
À quoi ressemble le pipeline complet
De bout en bout, un projet se déroule comme suit : définition des exigences de capture par rapport à l’objectif de formation du client, ce qui détermine si nous utilisons Vicon, Xsens ou les deux ; enregistrement vidéo multicaméra égocentrique/exocentrique, synchronisé avec la capture de mouvement ; alignement des capteurs et synchronisation temporelle ; nettoyage, normalisation et structuration des données en séquences au niveau des tâches ; et livraison dans des formats prêts pour une ingestion directe dans les pipelines de formation.
Chaque étape est conçue pour évoluer : nous élaborons des protocoles de collecte qui peuvent être déployés sur plusieurs sites et auprès de différents groupes de volontaires sans perte de cohérence, un point crucial dès lors qu’un projet dépasse le stade de la simple validation de concept. La documentation de conformité est intégrée au processus et non ajoutée a posteriori : la provenance des données, les enregistrements de consentement des volontaires et les exigences d’équilibrage démographique sont définis dès le départ en même temps que le protocole de collecte. Ainsi, le livrable est conforme à des cadres réglementaires tels que la loi européenne sur l’IA, sans avoir à y apporter de modifications après la collecte.
Où ces données sont utilisées
Le même pipeline prend en charge plusieurs cas d'utilisation distincts, bien que les exigences en matière de données sous-jacentes diffèrent plus qu'on ne le pense : en robotique, il prend en charge l'apprentissage par imitation pour les robots humanoïdes et les modèles d'exécution de tâches physiques entraînés sur de véritables démonstrations humaines plutôt que sur des mouvements synthétiques ; dans la recherche sur l'IA incarnée, les systèmes de modélisation comportementale et de prédiction d'actions ont besoin de mouvements humains réels comme référence ; en simulation et en XR, l'animation humaine numérique et les systèmes d'interaction VR/AR ont besoin de données de mouvement suffisamment réalistes pour ne pas rompre l'immersion ; et dans les applications industrielles, la compréhension de l'activité humaine dans les environnements de vente au détail et de logistique signifie généralement la modélisation d'un flux de travail plutôt que d'une tâche unique.
Pourquoi c'est plus difficile qu'il n'y paraît
En toute franchise : le matériel de capture de mouvement est accessible à presque tous. La différence ne réside pas dans l’équipement lui-même — les systèmes Vicon et Xsens sont la norme du secteur, et non une technologie propriétaire. C’est tout ce qui se passe en aval de la capture : la synchronisation entre des systèmes initialement non interopérables, la structuration des trajectoires brutes pour leur donner un sens sémantique au niveau de la tâche, et ce, avec un volume et une cohérence permettant de maintenir ces données sur des centaines de sessions et plusieurs sites physiques.
C'est la partie qui n'apparaît pas dans une fiche technique de produit, et c'est pourtant ce qui détermine si un ensemble de données est utilisable.
Ce qui distingue notre pipeline
Une grande partie de ce que nous avons décrit jusqu'à présent — Vicon, Xsens, la fusion égocentrique/exocentrique — relève de technologies qu'une équipe bien dotée en ressources pourrait mettre en place. Ce qui est plus complexe, c'est la couche opérationnelle qui l'entoure, et c'est là que réside l'essentiel de notre avantage concurrentiel.
La conformité fait partie intégrante du processus, et non une étape distincte. La plupart des équipes de collecte de données fournissent les séquences brutes et laissent au client le soin de gérer ultérieurement la provenance, le consentement et les documents démographiques. Nous, en revanche, définissons les exigences de conformité en même temps que le protocole de capture. Ainsi, les enregistrements de consentement des volontaires, la provenance des données et l'équilibrage démographique sont intégrés dès la première réunion de planification, et non reconstitués sous la pression des délais, une fois qu'un organisme de réglementation ou un client final les demande.
La confidentialité et la suppression des données sont gérées avant la livraison, et non suite à une réclamation. Toute information permettant d'identifier un client ou une personne dans les documents justificatifs est systématiquement examinée et supprimée, conformément au processus de livraison, et non pas ponctuellement lorsqu'un problème est signalé. C'est plus important qu'il n'y paraît : de nombreux ensembles de données, pourtant techniquement excellents, deviennent inutilisables pour un client faute d'une gestion rigoureuse des documents associés.
Nous assurons la coordination entre les différents sites et groupes démographiques tout en préservant la cohérence. Les ensembles de données d'IA incarnée ne sont utiles que s'ils sont généralisables ; cela signifie que les protocoles de capture doivent être robustes dans différentes régions, avec différents types d'appareils et auprès de différentes populations de volontaires, et non pas seulement dans un studio unique et contrôlé. Concevoir un protocole qui reste cohérent lorsqu'il est exécuté dans cinq lieux différents par cinq équipes différentes représente un défi autant logistique que technique, et nous avons donc mis en place des processus reproductibles pour y remédier, plutôt que de devoir tout recréer pour chaque projet.
La capture et la structuration des données sont réalisées au sein d'une même équipe. Grâce à cette équipe qui prend en charge la capture de mouvement, la fusion multivue et la structuration des données, il n'y a pas de rupture de transmission : le contexte relatif à l'enregistrement d'une séquence reste clair entre les personnes qui l'ont capturée et celles qui l'ont annotée. Cette continuité est souvent essentielle pour qu'un jeu de données reste exploitable par une équipe n'ayant pas participé au tournage initial.
Et ensuite ?
L'intelligence incarnée passe d'un domaine de recherche de niche à un domaine sur lequel les équipes de robotique et de simulation développent activement des produits ; ce qui signifie que le goulot d'étranglement se déplace de « pouvons-nous construire le modèle ? » à « disposons-nous de données suffisamment bonnes pour l'entraîner ? ». C'est pour résoudre ce problème que nous mettons en place une infrastructure.
Si vous travaillez sur un projet de robotique, de simulation ou d'IA incarnée et que vous souhaitez discuter de ce à quoi ressemblerait un pipeline de capture pour votre cas d'utilisation spécifique, n'hésitez pas à nous contacter — nous serons ravis de vous présenter le processus de définition du périmètre.