Ego-Exo-Datensatz

Kombiniert die Perspektive einer tragbaren Kamera aus der Ich-Perspektive mit externen Kameras für ein umfassendes räumliches Verständnis. Die Synchronisierung mehrerer Kameras erfasst sowohl den Blickwinkel des Nutzers als auch den umgebenden Kontext.

Hauptfunktionen

Ego + Exo Views

Ego- und Außenansichten in einem einzigen synchronisierten Datensatz

Kamerasynchronisation

Zeitstempel-QR-Code für die geräteübergreifende Ausrichtung im Millisekundenbereich

Interaktionsfokus

Sowohl Objektmanipulations- als auch Mensch-Mensch-Interaktionsszenarien

Aufgaben aus der Praxis

Alltagsaktivitäten in authentischen Umgebungen für praktisches KI-Training

Einrichten der Datenerfassung

Synchronisierte Mehrkamera-Aufnahme

Eine tragbare Kamera und zwei externe Kameras, die über eine QR-Code-Technologie mit Zeitstempel synchronisiert werden, um eine präzise Ausrichtung aus allen drei Blickwinkeln zu gewährleisten.

Kamera-Setup1 tragbare + 2 externe Kameras
AufrufeEgo-Perspektive + Außenperspektive
SynchronisierungZeitstempel-QR-Code
DateitypMulti-View-Videodatensatz
ArbeitsumfeldSzenarien aus der Praxis

Multi-View-Datenstruktur

Drei-Kamera-Perspektivsystem

Ego-Sichtweise

  • Aus der Sicht des Benutzers
  • Details der Handbewegung
  • Objektinteraktionsprozess
  • Informationen aus der Ich-Perspektive

Exo View

  • Von externen Kameras
  • Ganzkörperbewegung
  • Räumliche Beziehungen
  • Umweltkontext

Beispiele für Datensätze

Beispiel 1: Kleidung falten

Ein Mensch faltet Kleidung in einer realen Umgebung, aufgenommen aus drei synchronisierten Blickwinkeln.

tragbares Gerät aus der Ich-PerspektiveFrontkameraSeitliche Außenkamera

Erfassungen: Interaktion zwischen Hand und Objekt · Faltvorgang · Manipulationsverhalten

Seitenkamera
Ego-Sichtweise
Front-Kamera
Exo View1
Tragbare Ansicht
Exo View2

Beispiel 2: Tätigkeit im Bereich der menschlichen Fürsorge

Aufnahmen aus verschiedenen Perspektiven von Pflegeaktivitäten, die 9 Körperregionen abdecken.

ZurückAnsatzscheibenBrustHandgelenkArmLegenHalsHeadFuß

Erfasst werden: Menschliche Bewegungsmuster · Körperinteraktionsprozesse · Räumliche Informationen aus verschiedenen Perspektiven

Exo View2
Ego-Sichtweise
Ego-Sichtweise
Exo View1
Exo View1
Exo View2

Beispiel 3: Backen – Kuchenherstellung

Ein Mensch backt einen Kuchen in einer Küchenumgebung, aufgenommen aus drei synchronisierten Blickwinkeln.

tragbares Gerät aus der Ich-PerspektiveFrontkameraSeitliche Außenkamera

Erfassungen: Umgang mit Zutaten · Teig mischen und einfüllen · Glasieren/Dekorieren · Werkzeug-Objekt-Manipulationsprozess · Räumliche Informationen aus mehreren Perspektiven

Exo View2
Ego-Sichtweise
Ego-Sichtweise
Exo View1
Exo View1
Exo View2

Beispiel 4: Haarschnitt

Eine Stylistin führt in einem Salon einen Haarschnitt an einer Kundin durch; die Szene wird aus drei synchronisierten Blickwinkeln gefilmt.

tragbares Gerät aus der Ich-PerspektiveFrontkameraSeitliche Außenkamera

Erfassungen: Interaktion zwischen Werkzeug und Haar · Schneide-/Stylingtechnik · Räumliche Koordination zweier Personen

Seitenkamera
Ego-Sichtweise
Front-Kamera
Exo View1
Tragbare Ansicht
Exo View2

Beispiel 5: Schönheit / Hautpflege

Eine Kosmetikerin führt an einer Kundin eine Gesichtspflegebehandlung durch, die aus drei synchronisierten Perspektiven gefilmt wird.

tragbares Gerät aus der Ich-PerspektiveFrontkameraSeitliche Außenkamera

Erfassungen: Feine Hand-Gesicht-Interaktion · Produktanwendungstechnik · Gesichtsdetails aus verschiedenen Perspektiven

Exo View2
Ego-Sichtweise
Ego-Sichtweise
Exo View1
Exo View1
Exo View2

Datensatzspezifikationen

DateitypMulti-View-Videodatensatz
Kamerakonfiguration1 Ego + 2 Exo-Kameras
SynchronisierungZeitstempel-QR-Code
PerspektiveIch-Perspektive + Er/Sie-Perspektive
ArbeitsumfeldSzenarien aus der Praxis
AufgabenManipulation und Interaktion
AnmerkungAuf Anfrage erhältlich

Anwendungen

Unterstützung fortgeschrittener KI-Forschung

Lernen von humanoiden Robotern Robotermanipulation VLA-Modelle Mensch-Roboter-Interaktion Multimodale KI Verkörperte Intelligenz

Sie haben Interesse daran, diesen Datensatz für Ihre Forschung oder Produktentwicklung zu nutzen? Kontaktieren Sie unser Team.

Nach oben scrollen