Ensemble de données Ego-Exo

Elle combine les vues subjectives d'une caméra portable avec les perspectives de caméras externes pour une compréhension spatiale complète. La synchronisation multicaméra capture à la fois le point de vue de l'utilisateur et le contexte environnant.

Fonctionnalités clés

Ego + Exo Points de vue

Vues à la première personne et vues externes dans un seul ensemble de données synchronisé.

Synchronisation de la caméra

Code QR d'horodatage pour l'alignement multi-appareils à la milliseconde près

Focus sur l'interaction

Les scénarios de manipulation d'objets et d'interaction humaine

Tâches concrètes

Activités quotidiennes dans des environnements authentiques pour une formation pratique en IA

Configuration de la collecte de données

Collection synchronisée multicaméra

Une caméra portable et deux caméras externes, synchronisées via la technologie de code QR d'horodatage pour un alignement précis sur les trois points de vue.

Configuration de la caméra	1 appareil portable + 2 caméras externes
Vues	Point de vue de l'ego + Points de vue externes
Sync	Code QR d'horodatage
Type de données	Ensemble de données vidéo multi-vues
Environnement	Scénarios du monde réel

Structure de données multivue

Système de perspective à trois caméras

Point de vue de l'ego

Du point de vue de l'utilisateur
détails du mouvement de la main
processus d'interaction avec les objets
Informations sur les actions à la première personne

Exo View

À partir de caméras externes
Mouvement du corps entier
Relations spatiales
Contexte environnemental

Exemples de jeux de données

Exemple 1 : Pliage des vêtements

Une personne plie des vêtements dans un environnement réel, filmé à partir de trois points de vue synchronisés.

Dispositif portable à la première personneCaméra extérieure avantCaméra externe latérale

Captures : Interaction main-objet · Processus de pliage · Comportement de manipulation

Point de vue de l'ego

Exo View1

Exo View2

Exemple 2 : Activité de soins humains

Enregistrements multivues d'activités de soins humains couvrant 9 régions du corps.

RetourA l'épaulePoitrinePoignetBrasLayCouHeadPied

Captures : Modèles de mouvement humain · Processus d'interaction corporelle · Informations spatiales multi-vues

Point de vue de l'ego

Exo View1

Exo View2

Exemple 3 : Pâtisserie — Confection de gâteaux

Une personne confectionne un gâteau dans une cuisine, filmée selon trois points de vue synchronisés.

Dispositif portable à la première personneCaméra extérieure avantCaméra externe latérale

Captures : Manipulation des ingrédients · Mélange et versement de la pâte · Glaçage/décoration · Processus de manipulation des outils · Informations spatiales multi-vues

Point de vue de l'ego

Exo View1

Exo View2

Exemple 4 : Coupe de cheveux

Dans un salon de coiffure, une coiffeuse réalise une coupe de cheveux sur une cliente, filmée selon trois points de vue synchronisés.

Dispositif portable à la première personneCaméra extérieure avantCaméra externe latérale

Captures : Interaction outil-cheveux · Technique de coupe/coiffage · Coordination spatiale à deux personnes

Point de vue de l'ego

Exo View1

Exo View2

Exemple 5 : Beauté / Soins de la peau

Une esthéticienne réalise un soin du visage sur une cliente, filmé sous trois angles synchronisés.

Dispositif portable à la première personneCaméra extérieure avantCaméra externe latérale

Captures : Interaction fine main-visage · Technique d'application du produit · Détails du visage sous plusieurs angles

Point de vue de l'ego

Exo View1

Exo View2

Spécifications du jeu de données

Type de données	Ensemble de données vidéo multi-vues
Configuration de la caméra	1 caméra Ego + 2 caméras Exo
Sync	Code QR d'horodatage
Perspective	Première personne + Troisième personne
Environnement	Scénarios du monde réel
Tâches	Manipulation et interaction
Annotation	Disponible sur demande

Applications

Soutenir la recherche avancée en IA

Apprentissage par robot humanoïde Manipulation robotique Modèles VLA Interaction homme-robot IA multimodale Intelligence incorporée

Vous souhaitez utiliser ces données pour vos recherches ou le développement de vos produits ? Contactez notre équipe.