Conjunto de datos Ego-Exo

Combina vistas de cámara portátil en primera persona con perspectivas de cámaras externas para una comprensión espacial integral. La sincronización multicámara captura tanto el punto de vista del usuario como el contexto circundante.

Características principales

Perspectivas del ego y del exo

Vistas en primera persona y vistas externas en un único conjunto de datos sincronizado.

Sincronización de cámara

Código QR con marca de tiempo para la alineación multidispositivo a nivel de milisegundos.

Enfoque en la interacción

Tanto la manipulación de objetos como los escenarios de interacción entre humanos

Tareas del mundo real

Actividades cotidianas en entornos auténticos para la formación práctica en IA.

Configuración de recopilación de datos

Colección sincronizada multicámara

Una cámara portátil y dos cámaras externas, sincronizadas mediante tecnología de código QR con marca de tiempo para una alineación precisa en los tres puntos de vista.

Configuración de la cámara	1 dispositivo portátil + 2 cámaras externas
Vistas	Perspectiva del ego + Perspectivas externas
Sincronizar	Código QR con marca de tiempo
Tipo de datos	Conjunto de datos de vídeo multivista
Medio Ambiente	Escenarios del mundo real

Estructura de datos multivista

Sistema de perspectiva de tres cámaras

Visión del ego

Desde la perspectiva del usuario
Detalles del movimiento de la mano
proceso de interacción con objetos
Información de acción en primera persona

Vista Exo

Desde cámaras externas
Movimiento de todo el cuerpo
Relaciones espaciales
Contexto ambiental

Ejemplos de conjuntos de datos

Ejemplo 1: Doblado de ropa

Una persona realiza el doblado de ropa en un entorno real, grabado desde tres puntos de vista sincronizados.

Dispositivo portátil en primera personacámara frontal externaCámara lateral externa

Capturas: Interacción mano-objeto · Proceso de plegado · Comportamiento de manipulación

Visión del ego

Vista Exo1

Vista Exo2

Ejemplo 2: Actividad de cuidado humano

Grabaciones multivista de actividades de cuidado humano que abarcan 9 regiones del cuerpo.

AtrasHombroPechoMuñecaBrazoPiernaCuelloCabezaFútbol

Capturas: Patrones de movimiento humano · Proceso de interacción corporal · Información espacial multivista

Visión del ego

Vista Exo1

Vista Exo2

Ejemplo 3: Repostería — Elaboración de pasteles

Una persona prepara un pastel en un entorno de cocina, capturado desde tres puntos de vista sincronizados.

Dispositivo portátil en primera personacámara frontal externaCámara lateral externa

Capturas: Manipulación de ingredientes · Mezcla y vertido de la masa · Glaseado/decoración · Proceso de manipulación de herramientas y objetos · Información espacial multivista

Visión del ego

Vista Exo1

Vista Exo2

Ejemplo 4: Corte de pelo

Un estilista realiza un corte de pelo a un cliente en un salón de belleza, grabado desde tres puntos de vista sincronizados.

Dispositivo portátil en primera personacámara frontal externaCámara lateral externa

Capturas: Interacción herramienta-cabello · Técnica de corte/peinado · Coordinación espacial entre dos personas

Visión del ego

Vista Exo1

Vista Exo2

Ejemplo 5: Belleza / Cuidado de la piel

Una esteticista realiza una rutina de cuidado facial a una clienta, grabada desde tres puntos de vista sincronizados.

Dispositivo portátil en primera personacámara frontal externaCámara lateral externa

Capturas: Interacción fina mano-rostro · Técnica de aplicación del producto · Detalle facial desde múltiples perspectivas

Visión del ego

Vista Exo1

Vista Exo2

Especificaciones del conjunto de datos

Tipo de datos	Conjunto de datos de vídeo multivista
Configuración de la cámara	1 cámara Ego + 2 cámaras Exo
Sincronizar	Código QR con marca de tiempo
Perspectiva	Primera persona + Tercera persona
Medio Ambiente	Escenarios del mundo real
tareas	Manipulación e interacción
Anotación	Disponibles bajo pedido

Aplicaciones

Apoyo a la investigación avanzada en IA

Aprendizaje de robots humanoides Manipulación robótica Modelos VLA Interacción humano-robot IA multimodal Inteligencia encarnada

¿Le interesa utilizar este conjunto de datos para su investigación o desarrollo de productos? Póngase en contacto con nuestro equipo.