Einführung
Die meisten Diskussionen über verkörperte Intelligenz konzentrieren sich auf das Modell – die Architektur, das Richtliniennetzwerk, die Simulations-Engine. Weitaus weniger befassen sich mit dem, was letztendlich darüber entscheidet, ob das Ganze funktioniert: den Daten, aus denen das Modell lernt.
Das ist der Teil, den wir bauen.
In den letzten neun Jahren haben wir Datenerfassungspipelines entwickelt, die erfassen, wie sich Menschen tatsächlich bewegen, Objekte manipulieren und Aufgaben erledigen – und diese Daten in strukturierte Datensätze umwandeln, mit denen Robotik- und KI-Teams direkt trainieren können. Dieser Beitrag erklärt die Funktionsweise der Pipeline und warum die Details wichtiger sind, als es zunächst scheinen mag.
Warum die meisten bestehenden Datensätze unzureichend sind
Grundlagenmodelle haben sich schneller entwickelt als die zur Untermauerung benötigten physikalischen Daten. Die meisten öffentlich verfügbaren Bewegungs- und Interaktionsdatensätze weisen dieselben drei Einschränkungen auf: Es handelt sich um kurze Clips aus einem einzigen festen Blickwinkel, die keine Rekonstruktion der tatsächlichen Handlung der Person ermöglichen; sie erfassen zwar die Handbewegung, aber nicht deren Grund – keine Aufgabenstruktur, kein Objekt-Interaktionskontext, nichts, woraus eine Richtlinie die Absicht ableiten könnte; und sie werden nur einmal in einer Umgebung erfasst und lassen sich nicht ohne Weiteres auf einen Roboter übertragen, der in einer anderen Umgebung operiert.
Das ist kein Problem des Datenvolumens, sondern ein Problem der Datenstruktur. Man kann eine Million Stunden Videomaterial haben und trotzdem nichts, woraus ein Roboter eine Fähigkeit lernen könnte.
Wie wir Bewegung erfassenZwei Systeme, sieben Szenarien
Wir betreiben zwei Motion-Capture-Systeme parallel, weil sie unterschiedliche Probleme lösen.
Die optische Erfassungstechnologie von Vicon kommt zum Einsatz, wenn Präzision wichtiger ist als Mobilität – also bei Aufgaben in kontrollierter Umgebung, bei denen wir eine Skelettverfolgung im Submillimeterbereich und framegenaue Bewegungsabläufe benötigen. Konkret deckt sie drei Szenarien ab:
- Szenario 1: Feinmotorische Aufgaben. Montage-, Bestückungs- und Werkzeuggebrauchsvorgänge, bei denen Fingergelenkwinkel und Kontaktzeitpunkt exakt sein müssen und kein Spielraum für Fehler besteht.
- Szenario 2: Referenzbewegung zur Validierung der Simulation. Digitale Zwillinge und Physiksimulations-Engines benötigen einen Datensatz mit Bewegungsdaten auf Ground-Truth-Niveau zur Kalibrierung.
- Szenario 3: Biomechanische Erfassung. Bewegungsanalyse im Sport und Bewegungsanalyse in der Rehabilitation – beides erfordert rahmengenaue Skeletttrajektorien.
Die Inertialerfassung von Xsens kommt zum Einsatz, wenn die Aufgabe das Labor verlassen muss – Ganzkörperbewegungen werden in unstrukturierten, realen Umgebungen aufgezeichnet, in denen sich eine Person natürlich im Raum bewegt und nicht vor einer Kameraanlage posiert. Konkret deckt sie vier Szenarien ab:
- Szenario 4: Erfassung alltäglicher Aktivitäten in realen Wohnungen oder Büros. Menschen, die alltägliche Aufgaben in ihrer natürlichen Lebensumgebung erledigen, nicht eingeschränkt durch die räumliche Struktur eines Studios.
- Szenario 5: Zusammenarbeit oder Interaktion mehrerer Personen. Tätigkeiten wie das Kommissionieren im Lager oder die Unterstützung im Einzelhandel, bei denen mehrere Akteure gleichzeitig im Geschehen anwesend sind.
- Szenario 6: Bewegungserfassung in großen Räumen oder im Freien. Feldarbeit im Freien oder Bewegungen über größere Entfernungen in einer Fabrikhalle – Bereiche, die für den Erfassungsbereich eines optischen Messsystems zu groß sind.
- Szenario 7: Dezentrale Freiwilligenrekrutierung an mehreren Standorten. Wenn dasselbe Erfassungsprotokoll in verschiedenen Städten und bei verschiedenen Freiwilligengruppen repliziert werden muss, ist Xsens aufgrund seiner Portabilität und schnellen Einsatzfähigkeit besser für die Skalierung geeignet.
Keines der beiden Systeme allein liefert einen brauchbaren Datensatz. Optische Messungen ohne Berücksichtigung realer Schwankungen liefern zwar saubere, aber ungenaue Daten; inertiale Messungen ohne Präzision bieten zwar eine breite Datenbasis, aber keine hohe Detailgenauigkeit. Welches System wir einsetzen – und welche der oben genannten Szenarien ein Projekt tatsächlich abdecken muss – hängt von den Anforderungen der nachfolgenden Trainingsaufgabe ab. Dies ist üblicherweise der erste Punkt, den wir mit dem Kunden besprechen, bevor die Datenerfassung beginnt.
Von roher Bewegung zu etwas, von dem ein Modell tatsächlich lernen kann
Rohdaten von Skelettbewegungen sind keine Trainingsdaten. Erst die Strukturierungsschicht, die wir darüber aufbauen, macht sie nutzbar. Die Bewegung wird in zeitliche Aktionssequenzen segmentiert, den Objekten zugeordnet, mit denen interagiert wird, und auf Aufgabenebene statt auf Einzelbildebene organisiert. So lernt ein Modell nicht nur, dass sich Gelenkwinkel verändert haben, sondern auch, wie das Aufheben und Einschenken einer Tasse aussieht, einschließlich Fehlversuchen und Korrekturbewegungen.
Hier entfällt auch der größte Teil unserer Entwicklungszeit. Die Datenerfassung ist der sichtbare Teil des Prozesses; Ausrichtung, Bereinigung und Strukturierung entscheiden darüber, ob der Datensatz sechs Monate später von einem Team, das bei der Aufzeichnung nicht anwesend war, noch verwendbar ist.
Beide Seiten einer Handlung festhalten: Egozentrische und exozentrische Sichtweisen
Ein Roboter, der menschliches Verhalten imitieren soll, muss zwei Dinge gleichzeitig verstehen: die Absicht der Person und die Umgebung währenddessen. Kein einzelner Kamerawinkel liefert beides – und dies ist einer der am meisten unterschätzten Schwachpunkte in Datensätzen verkörperter KI.
Egozentrische (Ich-Perspektive) Aufnahmen werden mit einer am Kopf oder an der Brust befestigten Kamera gemacht, die sich mit dem Schauspieler bewegt. Sie zeichnen Absichten und schrittweise Entscheidungsprozesse auf: Worauf die Person blickt, kurz bevor sie nach etwas greift, wie sich ihre Hand einem Objekt nähert und welche Mikrokorrekturen sie während einer Handlung vornimmt, wenn etwas nicht wie geplant verläuft. Diese Perspektive erklärt nicht nur, ob eine Bewegung ausgeführt wurde, sondern auch warum. Sie entspricht am ehesten dem, was die Bordkamera eines Roboters später sehen wird – daher sind egozentrische Daten insbesondere für das Imitationslernen oft die realistischeren Einsatzbedingungen.
Der Nachteil ist, dass egozentrisches Filmmaterial naturgemäß verrauscht ist. Die Kamera bewegt sich mit dem Kopf, was zu ständiger Bewegungsunschärfe führt, dazu, dass der Bildausschnitt genau das Objekt abschneidet, das man sehen möchte, und dass es keinen festen Bezugspunkt gibt, um die Position von Objekten im Raum zu bestimmen. Es zeigt zwar, was jemand tun wollte, aber nicht, wo er sich dabei befand.
Exozentrische (Drittpersonen-)Aufnahmen werden mit fest installierten oder an Stativen montierten Kameras aufgenommen, die um die Szene herum positioniert sind. Sie erfassen den räumlichen und umgebungsbezogenen Kontext, den egozentrische Aufnahmen nicht abbilden können: die absolute Position jedes Objekts relativ zu jedem anderen Objekt, die Interaktion mehrerer Akteure in derselben Szene miteinander und umeinander sowie die vollständige Geometrie des Arbeitsbereichs. Wenn eine Aufgabe mehr als eine Person betrifft oder ein Objekt außerhalb des Sichtfelds des Akteurs liegt, sind exozentrische Aufnahmen die einzige Quelle für diese Informationen.
Der Kompromiss verläuft in die entgegengesetzte Richtung: Exozentrische Aufnahmen zeigen zwar alles, was im Raum geschah, aber nichts darüber, worauf sich der Schauspieler konzentrierte oder warum er die jeweiligen Entscheidungen traf. Zwei Personen, die dieselbe Bewegung ausführen, können völlig unterschiedliche Absichten haben, und eine Kamera aus der dritten Person allein kann dies nicht erkennen.
Warum die Fusion wichtiger ist als jede einzelne Sichtweise. Keine der beiden Perspektiven allein ist ausreichend, und die meisten bestehenden Datensätze wählen eine aus und akzeptieren die Lücke. Rein egozentrische Datensätze erzeugen Modelle, die Handbewegungen imitieren können, aber Schwierigkeiten mit der räumlichen Verankerung haben – sie wissen nicht, wo sie sich befinden. Rein exozentrische Datensätze erzeugen Modelle mit gutem Szenenverständnis, aber schwacher Aufgabensemantik – sie können beschreiben, was passiert, aber nicht vorhersagen, was als Nächstes geschieht oder warum.
Die Fusion der beiden Systeme erfordert eine komplexere Lösung als die einfache Aufzeichnung beider: Jedes Einzelbild des egozentrischen Datenstroms muss zeitlich und räumlich mit den entsprechenden Einzelbildern jeder exozentrischen Kamera abgeglichen werden, obwohl die beiden Systeme völlig unterschiedliche Geometrien, Bildraten und Referenzkoordinaten aufweisen. Schon eine geringfügige Abweichung bei der Abgleichung führt dazu, dass die Trainingsdaten nicht dem gleichen Zeitpunkt der Handlung entsprechen – was schlimmer ist als gar keine Fusion, da das Modell eine falsche Korrelation anstelle von keiner Korrelation lernt.
In diesem Schritt findet der Großteil unserer Kalibrierungs- und Synchronisierungsarbeit statt. Bei korrekter Durchführung entsteht ein Datensatz, mit dem ein Modell beide Seiten derselben Handlung gleichzeitig lernen kann – was die Person beabsichtigte und wie die Welt um sie herum währenddessen aussah. Dies entspricht eher dem tatsächlichen Denkvermögen eines Roboters im Einsatz.
Wie die gesamte Pipeline aussieht
Ein Projekt durchläuft von Anfang bis Ende folgende Schritte: Festlegung der Aufnahmeanforderungen im Hinblick auf das Trainingsziel des Kunden, wodurch entschieden wird, ob Vicon, Xsens oder beides zum Einsatz kommt; egozentrische/exozentrische Videoaufzeichnung mit mehreren Kameras, synchronisiert mit der Bewegungserfassung; Ausrichtung der Sensoren und zeitliche Synchronisierung; Datenbereinigung, Normalisierung und Strukturierung in aufgabenbezogene Sequenzen; und Bereitstellung in Formaten, die für die direkte Integration in Trainingspipelines geeignet sind.
Jede Phase ist auf Skalierbarkeit ausgelegt – wir entwickeln Erfassungsprotokolle, die sich standortübergreifend und mit verschiedenen Freiwilligengruppen konsistent einsetzen lassen. Dies ist besonders wichtig, sobald ein Projekt die erste Phase des Proof-of-Concept hinter sich gelassen hat. Die Dokumentation zur Einhaltung der Vorschriften ist von Anfang an in den Prozess integriert und nicht nachträglich hinzugefügt: Datenherkunft, Einwilligungserklärungen der Freiwilligen und Anforderungen an den demografischen Ausgleich werden von Beginn an zusammen mit dem Erfassungsprotokoll festgelegt. So ist das Ergebnis bereits für Rahmenbedingungen wie den EU-KI-Act geeignet und muss nicht erst nach Abschluss der Datenerhebung angepasst werden.
Wo diese Daten verwendet werden
Dieselbe Pipeline unterstützt einige unterschiedliche Anwendungsfälle, wobei sich die zugrunde liegenden Datenanforderungen stärker unterscheiden als erwartet: In der Robotik unterstützt sie das Imitationslernen für humanoide Roboter und Modelle zur Ausführung physikalischer Aufgaben, die anhand realer menschlicher Demonstrationen anstatt synthetischer Bewegungen trainiert werden; in der Forschung zur verkörperten KI benötigen Verhaltensmodellierungs- und Aktionsvorhersagesysteme reale menschliche Bewegungen als Grundlage; in der Simulation und XR benötigen digitale menschliche Animationen und VR/AR-Interaktionssysteme Bewegungsdaten, die realistisch genug sind, um die Immersion nicht zu stören; und in industriellen Anwendungen bedeutet das Verständnis menschlicher Aktivitäten im Einzelhandel und in der Logistik in der Regel die Modellierung eines Arbeitsablaufs anstatt einer einzelnen Aufgabe.
Warum das schwieriger ist, als es aussieht
Die ehrliche Version dieses Abschnitts: Motion-Capture-Hardware ist für fast jeden kommerziell erhältlich. Der entscheidende Faktor ist nicht die Ausrüstung selbst – Vicon- und Xsens-Systeme sind der Industriestandard, keine proprietäre Technologie. Entscheidend ist alles, was nach der Erfassung geschieht: die Synchronisierung von Systemen, die ursprünglich nicht für die Kommunikation untereinander konzipiert wurden, die Strukturierung der Rohdaten in aufgabenbezogene semantische Daten und die Gewährleistung einer hohen Datenmenge und Konsistenz über Hunderte von Sitzungen und an verschiedenen Standorten hinweg.
Das ist der Teil, der in einem Produktdatenblatt nicht auftaucht, und genau dieser Teil entscheidet letztendlich darüber, ob ein Datensatz brauchbar ist.
Was unsere Pipeline auszeichnet
Vieles von dem, was wir bisher beschrieben haben – Vicon, Xsens, egozentrische/exozentrische Fusion – ist Technologie, die jedes gut ausgestattete Team entwickeln könnte. Schwieriger zu realisieren ist die operative Ebene, die diese Technologie umgibt, und genau darin liegt unser eigentliches Alleinstellungsmerkmal.
Compliance ist integraler Bestandteil des Prozesses, kein separater Schritt. Die meisten Datenerfassungsteams übergeben das Rohmaterial und überlassen die Dokumentation von Herkunft, Einwilligung und demografischen Daten dem Kunden, der sie im Nachhinein klären muss. Wir definieren die Compliance-Anforderungen parallel zur Festlegung des Erfassungsprotokolls. So sind Einwilligungserklärungen von Freiwilligen, Datenherkunft und demografischer Abgleich von Anfang an in die Planungsgespräche integriert – und werden nicht erst unter Zeitdruck erstellt, wenn eine Aufsichtsbehörde oder ein nachgelagerter Kunde danach fragt.
Datenschutz und Schwärzung erfolgen vor der Auslieferung, nicht erst nach einer Beschwerde. Sämtliche kunden- oder personenbezogene Daten in den Begleitdokumenten werden systematisch geprüft und standardmäßig im Rahmen des Auslieferungsprozesses entfernt – nicht erst ad hoc, wenn ein Problem gemeldet wird. Dies ist von größerer Bedeutung, als es zunächst scheinen mag: Viele technisch einwandfreie Datensätze sind für Kunden unbrauchbar, weil die zugehörigen Dokumente nicht sorgfältig genug bearbeitet wurden.
Wir koordinieren uns standort- und gruppenübergreifend, ohne dabei an Konsistenz einzubüßen. Datensätze aus dem Bereich der verkörperten KI sind nur dann nützlich, wenn sie generalisierbar sind. Das bedeutet, dass Erfassungsprotokolle in verschiedenen Regionen, auf unterschiedlichen Gerätetypen und mit verschiedenen Probandengruppen funktionieren müssen – und nicht nur in einem einzigen kontrollierten Studio. Ein Protokoll zu entwickeln, das konsistent bleibt, wenn es an fünf verschiedenen Orten von fünf verschiedenen Teams ausgeführt wird, ist sowohl eine logistische als auch eine technische Herausforderung. Wir haben daher wiederholbare Prozesse entwickelt, anstatt für jedes Projekt ein neues zu erstellen.
Aufnahme und Strukturierung erfolgen unter einem Dach. Da dasselbe Team Motion Capture, Multiview-Fusion und die nachfolgende Datenstrukturierung übernimmt, gibt es keine Lücke in der Übergabe, in der der Kontext – warum eine Sequenz aufgezeichnet wurde – zwischen denjenigen, die sie aufgenommen haben, und denjenigen, die sie annotiert haben, verloren geht. Diese Kontinuität ist oft entscheidend dafür, ob ein Datensatz auch von einem Team genutzt werden kann, das bei der ursprünglichen Aufnahme nicht dabei war.
Wie geht es nun weiter?
Verkörperte Intelligenz entwickelt sich von einer Forschungsnische zu etwas, worauf Robotik- und Simulationsteams aktiv Produkte aufbauen – was bedeutet, dass sich der Engpass von „Können wir das Modell bauen?“ zu „Haben wir ausreichend gute Daten, um es zu trainieren?“ verlagert. Das ist das Problem, für das wir die Infrastruktur aufbauen.
Wenn Sie an einem Projekt im Bereich Robotik, Simulation oder verkörperte KI arbeiten und besprechen möchten, wie eine Erfassungspipeline für Ihren spezifischen Anwendungsfall aussehen könnte, nehmen Sie Kontakt mit uns auf – wir erläutern Ihnen gerne den Ablauf.