Introductie
De meeste gesprekken over belichaamde intelligentie richten zich op het model: de architectuur, het beleidsnetwerk, de simulatie-engine. Veel minder gesprekken gaan over hetgeen dat daadwerkelijk bepaalt of het werkt: de data waar het model van leert.
Dat is het onderdeel dat wij bouwen.
De afgelopen 9 jaar hebben we gewerkt aan dataverzamelingspipelines die vastleggen hoe mensen daadwerkelijk bewegen, objecten manipuleren en taken uitvoeren. We zetten die gegevens om in gestructureerde datasets waarop robotica- en belichaamde AI-teams direct kunnen trainen. In dit artikel leggen we uit hoe de pipeline werkt en waarom de details belangrijker zijn dan ze op het eerste gezicht lijken.
Waarom de meeste bestaande datasets tekortschieten
Fundamentele modellen zijn sneller gegroeid dan de fysieke data die nodig is om ze te onderbouwen. De meeste openbaar beschikbare datasets over beweging en interactie hebben dezelfde drie beperkingen: het zijn korte fragmenten die vanuit één vast gezichtspunt zijn vastgelegd, waardoor het onmogelijk is om te reconstrueren wat de persoon daadwerkelijk probeerde te doen; ze registreren dat een hand bewoog, maar niet waarom – geen taakstructuur, geen context van objectinteractie, niets waaruit een beleid de intentie kan afleiden; en ze zijn eenmalig vastgelegd, in één omgeving, en zijn niet goed overdraagbaar naar een robot die ergens anders opereert.
Dit is geen probleem met de hoeveelheid data, maar met de datastructuur. Je kunt een miljoen uur aan video hebben en nog steeds niets dat een robot kan gebruiken om een vaardigheid te leren.
Hoe we Beweging vastleggen: Twee systemen, zeven scenario's
We gebruiken twee bewegingsregistratiesystemen parallel, omdat ze verschillende problemen oplossen.
Vicon optische beeldregistratie gebruiken we wanneer precisie belangrijker is dan mobiliteit — taken in een gecontroleerde omgeving waarbij we skeletvolging met submillimeterprecisie en frame-accurate trajecten nodig hebben. Het systeem is specifiek geschikt voor drie scenario's:
- Scenario 1: Fijne motorische handelingen. Montage-, pick-and-place- en gereedschapsgebruiksbewegingen waarbij de hoeken van de vingergewrichten en de timing van het contact exact moeten zijn, zonder ruimte voor fouten.
- Scenario 2: Referentiebeweging voor simulatievalidatie. Digitale tweelingen en fysica-simulatieprogramma's hebben een dataset met bewegingsgegevens op grondniveau nodig om mee te kalibreren.
- Scenario 3: Biomechanische vangst. Sportbewegingsanalyse en revalidatiebewegingsanalyse, beide vereisen nauwkeurige skelettrajecten.
Xsens inertiële opname gebruiken we wanneer de taak buiten het laboratorium moet worden uitgevoerd — volledige lichaamsbewegingen vastgelegd in onbelemmerde, realistische omgevingen waar een persoon zich op natuurlijke wijze door een ruimte beweegt in plaats van voor een camera te poseren. Het omvat specifiek vier scenario's:
- Scenario 4: Het vastleggen van alledaagse activiteiten in echte huizen of kantoren. Mensen die alledaagse taken uitvoeren in een natuurlijke leefomgeving, niet beperkt door de fysieke ruimte van een studio.
- Scenario 5: Samenwerking of interactie tussen meerdere personen. Taken zoals het verzamelen van bestellingen in een magazijn of het assisteren op de winkelvloer, waarbij meerdere personen tegelijk aanwezig zijn.
- Scenario 6: Vastleggen van bewegingen in een grote ruimte of in de buitenlucht. Veldwerk in de buitenlucht of verplaatsingen over lange afstanden in een fabriekshal — ruimtes die te groot zijn voor het dekkingsgebied van een optische installatie.
- Scenario 7: Werving van vrijwilligers op meerdere locaties en verspreid over verschillende platforms. Wanneer hetzelfde opnameprotocol in verschillende steden en bij verschillende groepen vrijwilligers moet worden toegepast, maken de draagbaarheid en snelle implementatie van Xsens het de ideale oplossing voor schaalvergroting.
Geen van beide systemen levert op zichzelf een bruikbare dataset op. Optische opnames zonder de variabiliteit uit de praktijk leveren schone, maar beperkte data op; inertiële opnames zonder precisie leveren brede data op, maar zonder nauwkeurigheid. Welk systeem we gebruiken – en welke van de bovenstaande scenario's een project daadwerkelijk moet dekken – hangt af van wat de trainingstaak vereist. Dit is meestal het eerste gesprek dat we met een klant voeren voordat er met de opnames wordt begonnen.
Van ruwe beweging naar iets waar een model daadwerkelijk van kan leren.
Ruwe skeletbewegingen zijn geen trainingsdata. De structuurlaag die ze bruikbaar maakt, bouwen we er bovenop. Beweging wordt gesegmenteerd in temporele actiesequenties, gekoppeld aan de objecten waarmee interactie plaatsvindt, en georganiseerd op taakniveau in plaats van op frameniveau. Een model leert dus niet alleen "veranderde gewrichtshoeken", maar ook "zo ziet het eruit als je een kopje oppakt en inschenkt, inclusief de mislukte pogingen en herstelbewegingen".
Dit is ook waar het grootste deel van onze engineeringtijd naartoe gaat. Het vastleggen van de data is het zichtbare deel van de pipeline; het uitlijnen, opschonen en structureren bepaalt of de dataset zes maanden later bruikbaar is voor een team dat er niet bij was toen de data werd opgenomen.
Beide kanten van een actie vastleggen: Egocentrische en exocentrische opvattingen
Een robot die leert menselijk gedrag na te bootsen, moet twee dingen tegelijk begrijpen: wat de persoon van plan was te doen en hoe de omgeving eruitzag terwijl hij of zij dat deed. Geen enkele camerahoek geeft je beide – en dit is een van de meest onderschatte zwakke punten in datasets voor belichaamde AI.
Egocentrische (eerstepersoons) beelden worden vastgelegd door een camera op het hoofd of de borst die met de acteur meebeweegt. Deze beelden registreren de intentie en de stapsgewijze besluitvorming: waar de persoon precies naar kijkt vlak voordat hij of zij iets pakt, hoe de hand een object benadert, en de kleine aanpassingen die tijdens een taak worden gemaakt als iets niet volgens plan verloopt. Dit perspectief laat zien waarom een beweging plaatsvond, niet alleen dát de beweging plaatsvond. Het is ook het perspectief dat het dichtst in de buurt komt van wat de ingebouwde camera van de robot uiteindelijk zal zien – dus specifiek voor imitatieleer is egocentrische data vaak de beste match met de daadwerkelijke gebruiksomstandigheden.
Het nadeel is dat egocentrische beelden van nature ruis bevatten. De camera beweegt mee met het hoofd, waardoor er constant bewegingsonscherpte is, de kadrering precies het object afsnijdt dat je het meest wilt zien, en er geen vast referentiepunt is om te begrijpen waar iets zich in de absolute ruimte bevindt. Op zichzelf laat het je zien wat iemand van plan was te doen, maar niet waar die persoon stond toen hij of zij het deed.
Exocentrische (derdepersoons) opnames worden gemaakt met vaste of op een statief gemonteerde camera's die rondom de scène zijn geplaatst. Ze registreren de ruimtelijke en omgevingscontext die egocentrische opnames niet kunnen vastleggen: de absolute positie van elk object ten opzichte van elk ander object, hoe meerdere personen in dezelfde scène met elkaar en rondom elkaar interageren, en de volledige geometrie van de werkruimte. Als een taak meer dan één persoon betreft, of een object dat buiten het gezichtsveld van de acteur beweegt, is exocentrische beeldvorming de enige bron van die informatie.
Het omgekeerde geldt ook: exocentrische beelden laten alles zien wat er in de ruimte gebeurde, maar niets over waar de acteur zijn aandacht op richtte of waarom hij bepaalde keuzes maakte. Twee mensen die dezelfde fysieke beweging uitvoeren, kunnen totaal verschillende intenties hebben, en een camera vanuit een derde persoonsperspectief kan dat niet vaststellen.
Waarom fusie belangrijker is dan elk perspectief afzonderlijk. Geen van beide perspectieven is op zichzelf voldoende, en de meeste bestaande datasets kiezen er één en accepteren de kloof. Datasets die uitsluitend egocentrisch zijn, produceren modellen die handbewegingen kunnen imiteren, maar moeite hebben met ruimtelijke oriëntatie – ze weten niet waar ze zich bevinden. Datasets die uitsluitend exocentrisch zijn, produceren modellen met een goed begrip van de omgeving, maar met een zwakke taaksemantiek – ze kunnen beschrijven wat er gebeurt, maar niet voorspellen wat er vervolgens gebeurt of waarom.
Het samenvoegen van de twee vereist het oplossen van een complexer probleem dan alleen het opnemen van beide: elk frame van de egocentrische stream moet temporeel en ruimtelijk worden uitgelijnd met de corresponderende frames van elke exocentrische camera, ondanks het feit dat de twee systemen volledig verschillende geometrieën, framesnelheden en referentiecoördinaten hebben. Zelfs een kleine fout in de uitlijning kan leiden tot training met data waarbij het "intentie"-signaal en het "context"-signaal niet overeenkomen met hetzelfde moment in de actie. Dit is erger dan helemaal geen samenvoeging, omdat het model dan een valse correlatie leert in plaats van geen correlatie.
Dit is de stap waar het grootste deel van ons kalibratie- en synchronisatiewerk plaatsvindt. Als dit correct wordt gedaan, resulteert dit in een dataset waarmee een model beide aspecten van dezelfde actie tegelijk kan leren: wat de persoon bedoelde te doen en hoe de wereld eromheen eruitzag tijdens de handeling. Dit komt dichter in de buurt van hoe een robot in de praktijk zal moeten redeneren zodra deze is ingezet.
Hoe de volledige pijplijn eruitziet
Een project doorloopt van begin tot eind de volgende stappen: het bepalen van de opnamevereisten in relatie tot de trainingsdoelstelling van de klant, wat bepaalt of we Vicon, Xsens of beide gebruiken; egocentrische/exocentrische video-opname met meerdere camera's, gesynchroniseerd met bewegingsregistratie; sensoruitlijning en temporele synchronisatie; dataopschoning, normalisatie en structurering in taakgerichte sequenties; en levering in formaten die direct in trainingspipelines kunnen worden opgenomen.
Elke fase is schaalbaar ontworpen — we ontwerpen protocollen voor het verzamelen van gegevens die op meerdere locaties en met verschillende groepen vrijwilligers kunnen worden uitgevoerd zonder aan consistentie in te boeten. Dit is belangrijk zodra een project verder gaat dan een eerste proof-of-concept-batch. Compliance-documentatie is in dit proces geïntegreerd in plaats van achteraf toegevoegd: de herkomst van gegevens, toestemmingsregistraties van vrijwilligers en de vereisten voor demografische balans worden vanaf dag één samen met het verzamelprotocol vastgelegd. Zo is het eindproduct direct geschikt voor kaders zoals de EU AI-wetgeving, in plaats van dat het achteraf moet worden aangepast nadat de gegevensverzameling al is voltooid.
Waar deze gegevens worden gebruikt
Dezelfde pipeline ondersteunt een aantal verschillende gebruiksscenario's, hoewel de onderliggende datavereisten meer verschillen dan men verwacht: in de robotica ondersteunt het imitatie-leren voor humanoïde robots en modellen voor de uitvoering van fysieke taken die getraind zijn op echte menselijke demonstraties in plaats van synthetische bewegingen; in onderzoek naar belichaamde AI hebben gedragsmodellering en actievoorspellingssystemen realistische menselijke bewegingen nodig als basis; in simulatie en XR hebben digitale menselijke animatie en VR/AR-interactiesystemen bewegingsdata nodig die realistisch genoeg zijn om de immersie niet te verstoren; en in industriële toepassingen betekent het begrijpen van menselijke activiteit in retail- en logistieke omgevingen meestal het modelleren van een workflow in plaats van een enkele taak.
Waarom dit moeilijker is dan het lijkt
De eerlijke versie van dit gedeelte: hardware voor motion capture is commercieel verkrijgbaar voor vrijwel iedereen. Het verschil zit hem niet in de apparatuur – Vicon- en Xsens-systemen zijn de industriestandaard, niet in gepatenteerde technologie. Het zit hem in alles wat er na de opname gebeurt: synchronisatie tussen systemen die niet ontworpen zijn om met elkaar te communiceren, het structureren van ruwe trajecten tot iets met semantische betekenis op taakniveau, en dat alles met een volume en consistentie die standhoudt over honderden sessies en meerdere fysieke locaties.
Dat is het onderdeel dat niet in een productspecificatieblad staat, en het is juist dat onderdeel dat bepaalt of een dataset bruikbaar is.
Wat onze pijpleiding onderscheidt
Veel van wat we tot nu toe hebben beschreven — Vicon, Xsens, egocentrische/exocentrische fusie — is technologie die elk team met voldoende middelen zou kunnen ontwikkelen. Wat lastiger te ontwikkelen is, is de operationele laag eromheen, en dat is waar onze echte onderscheidende factor zich bevindt.
Compliance is onderdeel van het proces, geen aparte stap. De meeste dataverzamelingsteams leveren ruwe beelden aan en laten de herkomst, toestemming en demografische documentatie over aan de klant, die dit vervolgens zelf moet regelen. Wij stellen de compliance-eisen vast op hetzelfde moment dat we het opnameprotocol opstellen. Hierdoor zijn toestemmingsgegevens van vrijwilligers, de herkomst van de gegevens en de demografische gegevensverdeling al vanaf het eerste planningsgesprek ingebouwd – en worden ze niet onder tijdsdruk opnieuw opgesteld wanneer een toezichthouder of een latere klant erom vraagt.
Privacy en anonimisering worden vóór de levering afgehandeld, niet na een klacht. Alle klantidentificerende of persoonsgegevens in de ondersteunende documentatie worden systematisch gecontroleerd en verwijderd als standaardonderdeel van het leveringsproces, in plaats van een ad-hocoplossing die alleen wordt toegepast wanneer iemand een probleem meldt. Dit is belangrijker dan het lijkt – veel datasets die technisch gezien uitstekend zijn, worden onbruikbaar voor een klant omdat de bijbehorende documentatie niet zorgvuldig is behandeld.
We coördineren over verschillende locaties en demografische groepen heen zonder aan consistentie in te boeten. Datasets van belichaamde AI zijn alleen bruikbaar als ze generaliseerbaar zijn, wat betekent dat opnameprotocollen stand moeten houden in verschillende regio's, apparaattypen en groepen vrijwilligers – niet alleen in één gecontroleerde studio. Het ontwerpen van een protocol dat consistent blijft wanneer het op vijf verschillende locaties door vijf verschillende teams wordt uitgevoerd, is zowel een logistiek als een technisch probleem. Daarom hebben we herhaalbare processen ontwikkeld in plaats van voor elk project een nieuwe oplossing te bedenken.
Opname en structurering vinden allemaal onder één dak plaats. Omdat hetzelfde team de motion capture, multi-view fusion en de daaropvolgende datastructurering verzorgt, is er geen overdrachtskloof waarbij context over de reden waarom een sequentie is opgenomen verloren gaat tussen de mensen die de opnames hebben gemaakt en de mensen die de gegevens hebben gelabeld. Die continuïteit is vaak bepalend voor de vraag of een dataset nog steeds bruikbaar is voor een team dat niet bij de oorspronkelijke opnames aanwezig was.
Waar gaat dit naartoe?
Lichaamsgerichte intelligentie ontwikkelt zich van een niche in het onderzoek naar iets waar robotica- en simulatieteams actief producten voor ontwikkelen. Dit betekent dat de knelpunten verschuiven van "kunnen we het model bouwen?" naar "hebben we data die goed genoeg is om het mee te trainen?". Dat is precies het probleem waarvoor wij de infrastructuur bouwen.
Als je werkt aan een robotica-, simulatie- of belichaamde AI-project en wilt bespreken hoe een capture-pipeline er voor jouw specifieke toepassing uit zou zien, neem dan contact met ons op. We helpen je graag bij het inventariseren van de mogelijkheden.