Conjunto de dados Ego-Exo

Combina a visão em primeira pessoa da câmera vestível com a perspectiva de câmeras externas para uma compreensão espacial abrangente. A sincronização de múltiplas câmeras captura tanto o ponto de vista do usuário quanto o contexto ao redor.

Principais funcionalidades

Ego + Exo Views

Visões em primeira pessoa e externas em um único conjunto de dados sincronizado

Sincronização da câmera

Código QR com carimbo de data/hora para alinhamento de múltiplos dispositivos com precisão de milissegundos

Foco na interação

Tanto cenários de manipulação de objetos quanto de interação humano-humano

Tarefas do Mundo Real

Atividades cotidianas em ambientes autênticos para treinamento prático em IA

Configuração de coleta de dados

Coleta Sincronizada Multicâmera

Uma câmera vestível e duas câmeras externas, sincronizadas por meio de tecnologia de código QR com registro de data e hora para alinhamento preciso em todos os três pontos de vista.

Configuração da câmara	1 dispositivo vestível + 2 câmeras externas
Visualizações	Visão do ego + Visões externas
sincronização	Código QR de data e hora
Tipo de dados	conjunto de dados de vídeo multiview
Meio Ambiente	Cenários do mundo real

Estrutura de dados de múltiplas visões

Sistema de perspectiva de três câmeras

Visão do Ego

Da perspectiva do usuário
Detalhes do movimento da mão
Processo de interação com objetos
Informações de ação em primeira pessoa

Exo View

De câmeras externas
Movimento de corpo inteiro
Relações espaciais
Contexto ambiental

Exemplos de conjuntos de dados

Exemplo 1: Dobrar roupas

Uma pessoa dobra roupas em um ambiente real, com a imagem capturada de três pontos de vista sincronizados.

dispositivo vestível em primeira pessoaCâmera frontal externaCâmera externa lateral

Capturas: Interação mão-objeto · Processo de dobragem · Comportamento de manipulação

Visão do Ego

Exo View1

Exo View2

Exemplo 2: Atividade de Cuidado Humano

Gravações com múltiplas perspectivas de atividades de cuidado humano, abrangendo 9 regiões do corpo.

VoltarOmbroPeitoPulsoBraçoLeigoPescoçoHeadPé

Capturas: Padrões de movimento humano · Processo de interação corporal · Informações espaciais multiview

Visão do Ego

Exo View1

Exo View2

Exemplo 3: Assar — Fazer Bolo

Uma pessoa prepara um bolo em um ambiente de cozinha, com a cena capturada a partir de três pontos de vista sincronizados.

dispositivo vestível em primeira pessoaCâmera frontal externaCâmera externa lateral

Capturas: Manuseio de ingredientes · Mistura e despejo de massa · Confeitar/decorar · Processo de manipulação de ferramentas e objetos · Informações espaciais em múltiplas visualizações

Visão do Ego

Exo View1

Exo View2

Exemplo 4: Corte de cabelo

Um cabeleireiro realiza um corte de cabelo em um cliente em um salão de beleza, com a imagem capturada de três pontos de vista sincronizados.

dispositivo vestível em primeira pessoaCâmera frontal externaCâmera externa lateral

Capturas: Interação entre ferramenta e cabelo · Técnica de corte/estilização · Coordenação espacial entre duas pessoas

Visão do Ego

Exo View1

Exo View2

Exemplo 5: Beleza / Cuidados com a pele

Uma esteticista realiza uma rotina de cuidados faciais em uma cliente, capturada a partir de três ângulos sincronizados.

dispositivo vestível em primeira pessoaCâmera frontal externaCâmera externa lateral

Capturas: Interação delicada entre mãos e rosto · Técnica de aplicação do produto · Detalhes faciais em múltiplas perspectivas

Visão do Ego

Exo View1

Exo View2

Especificações do conjunto de dados

Tipo de dados	Conjunto de dados de vídeo multiview
Configuração da câmera	1 Ego + 2 Exo Câmeras
sincronização	Código QR de data e hora
perspectiva	Primeira pessoa + Terceira pessoa
Meio Ambiente	Cenários do mundo real
tarefas	Manipulação e interação
Anotação	Disponível mediante solicitação