Ego-Exo-dataset

Combineert camerabeelden vanuit het perspectief van de gebruiker met beelden van een externe camera voor een uitgebreid ruimtelijk inzicht. Dankzij de synchronisatie van meerdere camera's worden zowel het gezichtspunt van de gebruiker als de omringende context vastgelegd.

BELANGRIJKSTE KENMERKEN

Ego + Exo-gezichtspunten

Eerste-persoons- en externe perspectieven in één gesynchroniseerde dataset.

Camerasynchronisatie

QR-code met tijdstempel voor nauwkeurige synchronisatie tussen meerdere apparaten (op millisecondenniveau).

Interactiefocus

Zowel scenario's voor objectmanipulatie als voor interactie tussen mensen.

Praktische taken

Dagelijkse activiteiten in authentieke omgevingen voor praktische AI-training

Gegevensverzamelingsinstellingen

Gesynchroniseerde opname met meerdere camera's

Eén draagbare camera en twee externe camera's, gesynchroniseerd via QR-codetechnologie met tijdstempel voor nauwkeurige uitlijning vanuit alle drie de gezichtspunten.

camera Setup	1 draagbaar apparaat + 2 externe camera's
Weergaves	Ego-perspectief + Externe perspectieven
Synchroniseren	QR-code met tijdstempel
Data type	Dataset met videobeelden vanuit meerdere perspectieven
Milieu	Scenario's uit de echte wereld

Multi-View-datastructuur

Drie-camera perspectiefsysteem

Ego-visie

Vanuit het perspectief van de gebruiker
Details van de handbeweging
Objectinteractieproces
Actie-informatie vanuit het perspectief van de eerste persoon

Exo View

Van externe camera's
Beweging met het hele lichaam
Ruimtelijke relaties
Omgevingscontext

Voorbeelden van datasets

Voorbeeld 1: Kleding vouwen

Een persoon vouwt kleding op in een realistische omgeving, vastgelegd vanuit drie gesynchroniseerde gezichtspunten.

Eerste-persoons draagbaarExterne camera aan de voorzijdeExterne zijcamera

Vastgelegd: Interactie tussen hand en object · Vouwproces · Manipulatiegedrag

Ego-visie

Exo View1

Exo View2

Voorbeeld 2: Menselijke zorgactiviteit

Opnames vanuit meerdere perspectieven van zorgactiviteiten die 9 lichaamsregio's bestrijken.

VorigeSchouderBorstPolsArmVoetNek HoofdVoet

Vastleggingen: Menselijke bewegingspatronen · Lichaamsinteractieprocessen · Ruimtelijke informatie vanuit meerdere perspectieven

Ego-visie

Exo View1

Exo View2

Voorbeeld 3: Bakken — Taarten maken

Een mens maakt een taart in een keukenomgeving, vastgelegd vanuit drie gesynchroniseerde gezichtspunten.

Eerste-persoons draagbaarExterne camera aan de voorzijdeExterne zijcamera

Vastleggingen: Ingrediënten hanteren · Beslag mengen en gieten · Glazuur aanbrengen/decoreren · Proces voor het manipuleren van gereedschap en objecten · Ruimtelijke informatie vanuit meerdere perspectieven

Ego-visie

Exo View1

Exo View2

Voorbeeld 4: Kapsel

Een kapper knipt het haar van een klant in een salon, gefilmd vanuit drie synchroon aanzichten.

Eerste-persoons draagbaarExterne camera aan de voorzijdeExterne zijcamera

Vastgelegd: Interactie tussen gereedschap en haar · Knip-/stylingtechniek · Ruimtelijke coördinatie tussen twee personen

Ego-visie

Exo View1

Exo View2

Voorbeeld 5: Schoonheid / Huidverzorging

Een schoonheidsspecialiste voert een gezichtsverzorgingsroutine uit bij een klant, vastgelegd vanuit drie synchroon liggende perspectieven.

Eerste-persoons draagbaarExterne camera aan de voorzijdeExterne zijcamera

Vastgelegd: Fijne interactie tussen hand en gezicht · Productapplicatietechniek · Gezichtsdetails vanuit meerdere hoeken

Ego-visie

Exo View1

Exo View2

Datasetspecificaties

Data type	Multiview-videodataset
Cameraconfiguratie	1 Ego + 2 Exo-camera's
Synchroniseren	QR-code met tijdstempel
Perspectief	Eerste persoon + Derde persoon
Milieu	Scenario's uit de echte wereld
Taken	Manipulatie en interactie
aantekening	Beschikbaar op aanvraag

Toepassingen

Ondersteuning van geavanceerd AI-onderzoek

Humanoïde robot leren Robotmanipulatie VLA-modellen Interactie tussen mens en robot Multimodale AI Belichaamde intelligentie

Bent u geïnteresseerd in het gebruik van deze dataset voor uw onderzoek of productontwikkeling? Neem dan contact op met ons team.