Introduzione
La maggior parte delle discussioni sull'intelligenza incarnata si concentra sul modello: l'architettura, la rete di politiche, il motore di simulazione. Molto meno si concentrano sull'elemento che effettivamente determina se tutto ciò funziona: i dati da cui il modello apprende.
Quella è la parte che costruiamo.
Negli ultimi 9 anni, abbiamo lavorato su pipeline di raccolta dati che catturano il modo in cui gli esseri umani si muovono, manipolano oggetti e completano compiti, trasformando queste informazioni in dataset strutturati che i team di robotica e intelligenza artificiale incarnata possono utilizzare direttamente per l'addestramento. Questo articolo illustra il funzionamento della pipeline e spiega perché i dettagli sono più importanti di quanto possa sembrare.
Perché la maggior parte dei set di dati esistenti sono inadeguati
I modelli di base si sono sviluppati più rapidamente rispetto ai dati del mondo fisico necessari per la loro validazione. La maggior parte dei set di dati di movimento e interazione disponibili pubblicamente presenta le stesse tre limitazioni: si tratta di brevi clip catturate da un singolo punto di vista fisso, senza possibilità di ricostruire cosa la persona stesse effettivamente cercando di fare; registrano il movimento di una mano, ma non il motivo – nessuna struttura del compito, nessun contesto di interazione con l'oggetto, nulla da cui una politica possa apprendere l'intento; e sono acquisiti una sola volta, in un ambiente specifico, e non sono facilmente trasferibili a un robot che opera in un altro contesto.
Non si tratta di un problema di volume dei dati, bensì di un problema di struttura dei dati. Si possono avere un milione di ore di video e non avere comunque nulla da cui un robot possa apprendere una competenza.
Come noi Cattura il movimentoDue sistemi, sette scenari
Utilizziamo due sistemi di motion capture in parallelo, perché risolvono problemi diversi.
Il sistema di acquisizione ottica Vicon è la soluzione che utilizziamo quando la precisione è più importante della mobilità: si tratta di attività in ambienti controllati in cui è necessario un tracciamento scheletrico sub-millimetrico e traiettorie accurate al singolo fotogramma. Nello specifico, copre tre scenari:
- Scenario 1: Compiti di manipolazione fine. Movimenti di assemblaggio, prelievo e posizionamento e utilizzo di utensili in cui gli angoli delle articolazioni delle dita e la tempistica di contatto devono essere precisi, senza margine di errore.
- Scenario 2: Movimento di riferimento per la validazione della simulazione. I gemelli digitali e i motori di simulazione fisica necessitano di un set di dati di movimento di riferimento per la calibrazione.
- Scenario 3: Cattura biomeccanica. Analisi del movimento nello sport e analisi del movimento nella riabilitazione, entrambe le quali richiedono traiettorie scheletriche precise al singolo fotogramma.
La tecnologia di acquisizione inerziale Xsens è quella che utilizziamo quando l'attività deve essere svolta al di fuori del laboratorio: registra il movimento di tutto il corpo in ambienti reali e non vincolati, dove una persona si muove naturalmente nello spazio anziché recitare davanti a una telecamera. Nello specifico, copre quattro scenari:
- Scenario 4: Riprese di attività quotidiane in case o uffici reali. Persone che svolgono attività quotidiane in ambienti di vita naturali, non vincolate dagli spazi fisici di uno studio.
- Scenario 5: Collaborazione o interazione tra più persone. Attività come il prelievo merci in magazzino o l'assistenza in negozio, in cui sono presenti più persone contemporaneamente.
- Scenario 6: Ripresa del movimento in spazi ampi o all'aperto. Lavoro sul campo all'aperto o spostamenti su lunghe distanze all'interno di uno stabilimento industriale: spazi troppo ampi per la copertura di un sistema ottico.
- Scenario 7: Reclutamento di volontari in più sedi e in modo distribuito. Quando lo stesso protocollo di acquisizione deve essere replicato in città e popolazioni di volontari diverse, la portabilità e la rapidità di implementazione di Xsens lo rendono la soluzione più adatta per la scalabilità.
Nessuno dei due sistemi, preso singolarmente, fornisce un set di dati utilizzabile. L'acquisizione ottica, priva di variabilità reale, offre dati puliti ma limitati; l'acquisizione inerziale, priva di precisione, offre ampiezza ma fedeltà. La scelta del sistema da utilizzare – e di quale degli scenari sopra descritti sia effettivamente necessario per un progetto – dipende dalle esigenze del successivo processo di addestramento, che di solito è l'argomento della prima conversazione che abbiamo con il cliente prima ancora di iniziare l'acquisizione.
Da movimento grezzo a qualcosa da cui un modello può effettivamente imparare
Le traiettorie scheletriche grezze non sono dati di addestramento. Il lavoro che le rende utilizzabili è il livello di strutturazione che costruiamo sopra. Il movimento viene segmentato in sequenze di azioni temporali, etichettato in base agli oggetti con cui si interagisce e organizzato a livello di attività piuttosto che a livello di fotogramma: in questo modo un modello non impara solo "gli angoli delle articolazioni sono cambiati", ma impara "ecco come appare l'azione di prendere una tazza e versare, inclusi i casi di errore e i movimenti di recupero".
È proprio in questa fase che viene impiegata la maggior parte del nostro tempo di ingegneria. L'acquisizione è la parte visibile del processo; l'allineamento, la pulizia e la strutturazione sono le fasi che determinano se il set di dati è utilizzabile sei mesi dopo da un team che non era presente al momento della registrazione.
Catturare entrambi i lati di un'azione: Prospettiva egocentrica ed esocentrica
Un robot che impara a imitare il comportamento umano deve comprendere due cose contemporaneamente: cosa la persona intendeva fare e come appariva la scena circostante mentre lo faceva. Nessuna singola angolazione della telecamera fornisce entrambe le informazioni, e questo è uno dei punti deboli più sottovalutati nei set di dati per l'intelligenza artificiale incarnata.
Le riprese egocentriche (in prima persona) vengono acquisite da una telecamera montata sulla testa o sul petto che si muove con l'attore. Registrano l'intenzione e il processo decisionale passo dopo passo: cosa sta effettivamente guardando la persona un attimo prima di afferrare qualcosa, come la sua mano si avvicina a un oggetto, le micro-correzioni che apporta durante l'attività quando qualcosa non va come previsto. Questa è la prospettiva che spiega perché un movimento è avvenuto, non solo che è avvenuto. È anche la prospettiva più simile a quella che la telecamera di bordo di un robot incontrerà in futuro; pertanto, nello specifico per l'apprendimento per imitazione, i dati egocentrici sono spesso quelli che meglio si adattano alle condizioni di implementazione.
Il compromesso è che le riprese egocentriche sono per loro natura rumorose. La telecamera si muove con la testa, quindi c'è una costante sfocatura da movimento, un'inquadratura che taglia fuori proprio l'oggetto che si desidera vedere di più e nessun punto di riferimento fisso per capire dove si trova qualcosa nello spazio assoluto. Di per sé, ti dice cosa qualcuno intendeva fare, ma non dove si trovava mentre lo faceva.
Le riprese esocentriche (in terza persona) vengono effettuate con telecamere fisse o montate su supporti, posizionate intorno alla scena. Registrano il contesto spaziale e ambientale che le riprese egocentriche non possono mostrare: la posizione assoluta di ogni oggetto rispetto a ogni altro oggetto, come più soggetti nella stessa scena interagiscono tra loro e nello spazio circostante, la geometria completa dell'area di lavoro. Se un'attività coinvolge più di una persona, o un oggetto che si muove al di fuori del campo visivo dell'attore, le riprese esocentriche sono l'unica fonte di informazioni disponibili.
Il compromesso funziona nella direzione opposta: le riprese esocentriche mostrano tutto ciò che è accaduto nella stanza, ma non rivelano a cosa stesse prestando attenzione l'attore o perché abbia fatto determinate scelte. Due persone che compiono lo stesso movimento fisico possono avere intenzioni completamente diverse, e una telecamera in terza persona da sola non può dirlo.
Perché la fusione è più importante di ciascuna prospettiva presa singolarmente. Nessuna delle due prospettive è sufficiente da sola, e la maggior parte dei dataset esistenti ne sceglie una e ne accetta la lacuna. I dataset esclusivamente egocentrici producono modelli in grado di imitare le traiettorie della mano ma con difficoltà di orientamento spaziale: non sanno dove si trovano. I dataset esclusivamente esocentrici producono modelli con una buona comprensione della scena ma una scarsa semantica del compito: possono descrivere ciò che sta accadendo ma non prevedere cosa succederà dopo o perché.
Integrare i due flussi richiede la risoluzione di un problema più complesso della semplice registrazione di entrambi: ogni fotogramma del flusso egocentrico deve essere allineato temporalmente e spazialmente con i fotogrammi corrispondenti di ogni telecamera esocentrica, nonostante i due sistemi abbiano geometrie, frame rate e coordinate di riferimento completamente diversi. Anche un minimo errore di allineamento può portare all'addestramento su dati in cui il segnale di "intenzione" e il segnale di "contesto" non corrispondono effettivamente allo stesso istante dell'azione, il che è peggio che non avere alcuna fusione, perché il modello apprende una falsa correlazione anziché nessuna correlazione.
Questa è la fase in cui si concentra la maggior parte del nostro lavoro di calibrazione e sincronizzazione. Se eseguita correttamente, il risultato è un set di dati in cui un modello può apprendere entrambe le metà della stessa azione contemporaneamente: cosa la persona intendeva fare e come appariva il mondo intorno a lei mentre lo faceva, il che si avvicina maggiormente al modo in cui un robot dovrà effettivamente ragionare una volta impiegato.
Come si presenta l'intera pipeline
Dall'inizio alla fine, un progetto si articola nelle seguenti fasi: definizione dei requisiti di acquisizione in base all'obiettivo di formazione del cliente, che determina se utilizzare Vicon, Xsens o entrambi; registrazione video multicamera egocentrica/esocentrica, sincronizzata con il motion capture; allineamento dei sensori e sincronizzazione temporale; pulizia, normalizzazione e strutturazione dei dati in sequenze a livello di attività; e consegna in formati pronti per l'inserimento diretto nei flussi di lavoro di formazione.
Ogni fase è progettata per essere scalabile: progettiamo protocolli di acquisizione dati che possono essere eseguiti su più siti e gruppi di volontari senza perdere coerenza, aspetto fondamentale quando un progetto supera la fase di prova. La documentazione di conformità è integrata nel processo, anziché essere aggiunta in un secondo momento: la provenienza dei dati, i registri del consenso dei volontari e i requisiti di bilanciamento demografico sono definiti fin dal primo giorno, in modo che il prodotto finale sia pronto per normative come la legge europea sull'intelligenza artificiale, anziché dover essere adattato a posteriori dopo che la raccolta dati è già stata completata.
Dove vengono utilizzati questi dati
La stessa pipeline supporta diversi casi d'uso, sebbene i requisiti di dati sottostanti differiscano più di quanto ci si aspetti: nella robotica, supporta l'apprendimento per imitazione per robot umanoidi e modelli di esecuzione di compiti fisici addestrati su dimostrazioni umane reali anziché su movimenti sintetici; nella ricerca sull'IA incarnata, i sistemi di modellazione del comportamento e di previsione delle azioni necessitano di dati di movimento umano reali come base di riferimento; nella simulazione e nella realtà estesa (XR), l'animazione umana digitale e i sistemi di interazione VR/AR necessitano di dati di movimento sufficientemente realistici da non compromettere l'immersione; e nelle applicazioni industriali, la comprensione dell'attività umana negli ambienti di vendita al dettaglio e logistica di solito implica la modellazione di un flusso di lavoro piuttosto che di una singola attività.
Perché è più difficile di quanto sembri
In tutta onestà, l'hardware per la motion capture è disponibile in commercio praticamente per chiunque. La differenza non sta nell'attrezzatura in sé – i sistemi Vicon e Xsens sono lo standard del settore, non nella tecnologia proprietaria. È tutto ciò che segue l'acquisizione: la sincronizzazione tra sistemi che non sono stati progettati per comunicare tra loro, la strutturazione delle traiettorie grezze in qualcosa che abbia un significato semantico a livello di attività e il tutto con un volume e una coerenza tali da garantire risultati costanti su centinaia di sessioni e in diverse sedi fisiche.
Questa è la parte che non compare nella scheda tecnica di un prodotto, ed è la parte che effettivamente determina se un set di dati è utilizzabile.
Cosa distingue la nostra pipeline?
Gran parte di ciò che abbiamo descritto finora — Vicon, Xsens, fusione egocentrica/esocentrica — è tecnologia che qualsiasi team ben attrezzato potrebbe assemblare. Ciò che è più difficile da realizzare è il livello operativo che lo circonda, ed è proprio lì che risiede la maggior parte del nostro reale elemento distintivo.
La conformità è parte integrante del processo, non una fase separata. La maggior parte dei team di raccolta dati consegna il materiale grezzo, lasciando al cliente il compito di occuparsi in seguito della provenienza, del consenso e della documentazione demografica. Noi definiamo i requisiti di conformità contemporaneamente alla definizione del protocollo di acquisizione, in modo che i registri del consenso volontario, la provenienza dei dati e l'equilibrio demografico siano integrati fin dalla prima fase di pianificazione, e non ricostruiti sotto pressione per una scadenza imminente, una volta che un ente regolatore o un cliente finale li richieda.
La privacy e l'oscuramento dei dati vengono gestiti prima della consegna, non dopo un reclamo. Qualsiasi informazione che identifichi il cliente o dati personali presenti nella documentazione di supporto vengono sistematicamente esaminati e rimossi come parte integrante del processo di consegna, anziché essere corretti ad hoc solo in seguito a una segnalazione. Questo aspetto è più importante di quanto si possa immaginare: molti set di dati tecnicamente eccellenti diventano inutilizzabili per un cliente perché la documentazione ad essi correlata non è stata gestita con la dovuta attenzione.
Ci coordiniamo tra diverse sedi e fasce demografiche senza compromettere la coerenza. I set di dati di intelligenza artificiale incarnata sono utili solo se generalizzabili, il che significa che i protocolli di acquisizione devono essere validi in diverse regioni, tipologie di dispositivi e popolazioni di volontari, e non solo in un singolo studio controllato. Progettare un protocollo che rimanga coerente quando viene eseguito in cinque luoghi diversi da cinque team diversi è un problema logistico tanto quanto tecnico, ed è un problema per il quale abbiamo sviluppato processi ripetibili anziché doverlo risolvere ex novo per ogni progetto.
Acquisizione e strutturazione avvengono sotto lo stesso tetto. Poiché lo stesso team si occupa di motion capture, fusione multivista e successiva strutturazione dei dati, non si verificano interruzioni nel passaggio di consegne in cui il contesto relativo al motivo per cui una sequenza è stata registrata si perda tra chi l'ha acquisita e chi l'ha etichettata. Questa continuità è spesso ciò che determina se un set di dati è ancora utilizzabile da un team che non era presente durante le riprese originali.
Dove ci porterà tutto questo?
L'intelligenza incarnata si sta spostando da una nicchia di ricerca a un ambito in cui i team di robotica e simulazione stanno attivamente sviluppando prodotti, il che significa che il collo di bottiglia si sta spostando da "possiamo costruire il modello?" a "abbiamo dati sufficientemente validi per addestrarlo?". È proprio per risolvere questo problema che stiamo costruendo l'infrastruttura.
Se stai lavorando a un progetto di robotica, simulazione o intelligenza artificiale incarnata e desideri discutere di come potrebbe essere una pipeline di acquisizione per il tuo caso specifico, contattaci: saremo lieti di illustrarti il processo di definizione dell'ambito.