Introducción
La mayoría de las conversaciones sobre inteligencia incorporada se centran en el modelo: la arquitectura, la red de políticas, el motor de simulación. Sin embargo, muchas menos se centran en lo que realmente determina si algo de esto funciona: los datos de los que aprende el modelo.
Esa es la parte que construimos.
Durante los últimos nueve años, hemos trabajado en sistemas de recopilación de datos que capturan cómo los humanos se mueven, manipulan objetos y realizan tareas, y transforman esa información en conjuntos de datos estructurados que los equipos de robótica e IA encarnada pueden utilizar directamente para entrenar. En esta publicación, explicamos cómo funciona el sistema y por qué los detalles son más importantes de lo que parecen.
¿Por qué la mayoría de los conjuntos de datos existentes son insuficientes?
Los modelos básicos han crecido más rápido que los datos del mundo físico necesarios para fundamentarlos. La mayoría de los conjuntos de datos de movimiento e interacción disponibles públicamente comparten las mismas tres limitaciones: son clips cortos capturados desde un único punto de vista fijo, sin forma de reconstruir lo que la persona intentaba hacer; registran que una mano se movió, pero no por qué (sin estructura de tarea, sin contexto de interacción con objetos, sin nada de lo que una política pueda aprender la intención); y se capturan una sola vez, en un entorno, y no se transfieren bien a un robot que opera en otro lugar.
No se trata de un problema de volumen de datos, sino de estructura de datos. Puedes tener un millón de horas de vídeo y aun así no tener nada de lo que un robot pueda aprender una habilidad.
Como podemos Captura de movimientoDos sistemas, siete escenarios
Utilizamos dos sistemas de captura de movimiento en paralelo porque resuelven problemas diferentes.
La captura óptica de Vicon es la que utilizamos cuando la precisión es más importante que la movilidad: tareas en entornos controlados donde necesitamos un seguimiento esquelético submilimétrico y trayectorias con precisión de fotograma. En concreto, abarca tres escenarios:
- Escenario 1: Tareas de manipulación fina. Movimientos de ensamblaje, recogida y colocación, y uso de herramientas donde los ángulos de las articulaciones de los dedos y la sincronización del contacto deben ser exactos, sin margen de error.
- Escenario 2: Movimiento de referencia para la validación de la simulación. Los motores de simulación física y de gemelos digitales necesitan un conjunto de datos de movimiento de referencia para su calibración.
- Escenario 3: Captura biomecánica. El análisis del movimiento deportivo y el análisis del movimiento en la rehabilitación requieren trayectorias esqueléticas precisas a nivel de fotograma.
La captura inercial de Xsens es la que utilizamos cuando la tarea debe realizarse fuera del laboratorio: se trata de registrar el movimiento de todo el cuerpo en entornos reales y sin restricciones, donde la persona se mueve de forma natural por el espacio en lugar de actuar frente a una cámara. En concreto, abarca cuatro escenarios:
- Escenario 4: Captura de actividades cotidianas en hogares u oficinas reales. Personas que realizan tareas cotidianas en entornos naturales, sin las limitaciones físicas de un estudio.
- Escenario 5: Colaboración o interacción entre varias personas. Tareas como la preparación de pedidos en un almacén o la asistencia en tienda, donde hay varios actores presentes en la escena al mismo tiempo.
- Escenario 6: Captura de movimiento en espacios amplios o al aire libre. Trabajo de campo al aire libre o desplazamientos de larga distancia en una planta de producción: espacios demasiado grandes para el área de cobertura de un equipo óptico.
- Escenario 7: Captura de voluntarios distribuidos en múltiples ubicaciones. Cuando es necesario replicar el mismo protocolo de captura en diferentes ciudades y poblaciones de voluntarios, la portabilidad y la rápida implementación de Xsens lo convierten en la opción más adecuada para la escalabilidad.
Ninguno de los dos sistemas por sí solo proporciona un conjunto de datos útil. La captura óptica, sin la variabilidad del mundo real, ofrece datos limpios pero limitados; la captura inercial, sin precisión, ofrece amplitud sin fidelidad. El sistema que utilicemos —y cuál de los escenarios anteriores necesita cubrir un proyecto— depende de los requisitos de la capacitación posterior, que suele ser el primer tema que abordamos con el cliente antes de comenzar cualquier captura.
Desde el movimiento en bruto hasta algo que un modelo realmente puede aprender.
Las trayectorias esqueléticas sin procesar no son datos de entrenamiento. El trabajo que las hace útiles es la capa de estructuración que construimos sobre ellas. El movimiento se segmenta en secuencias de acciones temporales, se asocia con los objetos con los que se interactúa y se organiza a nivel de tarea en lugar de a nivel de fotograma; así, un modelo no solo aprende "los ángulos de las articulaciones cambiaron", sino que aprende "cómo se ve levantar una taza y verterla, incluyendo los casos de fallo y los movimientos de recuperación".
Aquí es donde se invierte la mayor parte de nuestro tiempo de ingeniería. La captura es la parte visible del proceso; la alineación, la limpieza y la estructuración son las que determinan si el conjunto de datos puede ser utilizado seis meses después por un equipo que no estuvo presente cuando se grabó.
Capturando ambos lados de una acción: Perspectivas egocéntricas y exocéntricas
Un robot que aprende a imitar el comportamiento humano necesita comprender dos cosas a la vez: qué pretendía hacer la persona y cómo era el entorno mientras lo hacía. Ningún ángulo de cámara proporciona ambas cosas, y este es uno de los puntos débiles menos reconocidos en los conjuntos de datos de IA encarnada.
Las imágenes egocéntricas (en primera persona) se capturan con una cámara montada en la cabeza o en el pecho que se mueve con el actor. Registran la intención y la toma de decisiones paso a paso: qué está mirando la persona justo antes de alcanzar algo, cómo se acerca su mano a un objeto, los microajustes que realiza durante la tarea cuando algo no sale según lo planeado. Esta es la perspectiva que explica por qué ocurrió un movimiento, no solo que ocurrió. También es la perspectiva más cercana a lo que verá la cámara integrada del robot; por lo tanto, para el aprendizaje por imitación, los datos egocéntricos suelen ajustarse mejor a las condiciones de uso.
La desventaja es que las grabaciones egocéntricas son inherentemente ruidosas. La cámara se mueve con la cabeza, por lo que hay un desenfoque de movimiento constante, un encuadre que recorta precisamente el objeto que más se desea ver y ningún punto de referencia fijo para comprender la ubicación de nada en el espacio absoluto. Por sí solas, muestran lo que alguien pretendía hacer, pero no dónde se encontraba mientras lo hacía.
Las grabaciones exocéntricas (en tercera persona) se capturan con cámaras fijas o montadas en plataformas, ubicadas alrededor de la escena. Registran el contexto espacial y ambiental que las grabaciones egocéntricas no pueden: la posición absoluta de cada objeto con respecto a los demás, cómo interactúan los distintos agentes en la misma escena entre sí y la geometría completa del espacio de trabajo. Si una tarea involucra a más de una persona o un objeto que se mueve fuera del campo de visión del actor, las grabaciones exocéntricas son la única fuente de esa información.
La desventaja es la opuesta: las imágenes externas muestran todo lo que sucedió en la habitación, pero no revelan a qué se dedicaba el actor ni por qué tomó las decisiones que tomó. Dos personas que realizan el mismo movimiento físico pueden tener intenciones completamente diferentes, y una cámara en tercera persona por sí sola no puede determinarlas.
Por qué la fusión es más importante que cualquiera de las perspectivas por separado. Ninguna perspectiva es suficiente por sí sola, y la mayoría de los conjuntos de datos existentes eligen una y aceptan la brecha. Los conjuntos de datos exclusivamente egocéntricos producen modelos que pueden imitar trayectorias de la mano, pero tienen dificultades con la ubicación espacial: no saben dónde están. Los conjuntos de datos exclusivamente exocéntricos producen modelos con buena comprensión de la escena, pero con una semántica de tareas débil: pueden describir lo que está sucediendo, pero no predecir lo que sucederá después ni por qué.
Fusionar ambas requiere resolver un problema más complejo que simplemente grabarlas: cada fotograma del flujo egocéntrico debe estar alineado temporal y espacialmente con los fotogramas correspondientes de cada cámara exocéntrica, a pesar de que los dos sistemas tengan geometrías, velocidades de fotogramas y coordenadas de referencia completamente diferentes. Si la alineación es ligeramente incorrecta, se termina entrenando con datos donde la señal de "intención" y la señal de "contexto" no corresponden al mismo instante de la acción, lo cual es peor que no tener ninguna fusión, ya que el modelo aprende una correlación falsa en lugar de ninguna correlación.
Este es el paso donde se concentra la mayor parte de nuestro trabajo de calibración y sincronización. Si se realiza correctamente, el resultado es un conjunto de datos donde un modelo puede aprender ambas partes de una misma acción simultáneamente: lo que la persona pretendía hacer y cómo era el entorno mientras lo hacía. Esto se acerca más a la forma en que un robot necesitará razonar una vez que esté operativo.
Cómo se ve el proceso completo
De principio a fin, un proyecto pasa por las siguientes etapas: definición del alcance de los requisitos de captura en función del objetivo de formación del cliente, lo que determina si utilizamos Vicon, Xsens o ambos; grabación de vídeo multicámara egocéntrica/exocéntrica, sincronizada con la captura de movimiento; alineación de sensores y sincronización temporal; limpieza, normalización y estructuración de datos en secuencias a nivel de tarea; y entrega en formatos listos para su incorporación directa a los sistemas de formación.
Cada etapa está diseñada para ser escalable: diseñamos protocolos de captura que pueden ejecutarse en múltiples sitios y grupos de voluntarios sin perder coherencia, algo fundamental una vez que un proyecto supera la fase inicial de prueba de concepto. La documentación de cumplimiento se integra en este proceso, en lugar de añadirse posteriormente: la procedencia de los datos, los registros de consentimiento de los voluntarios y los requisitos de equilibrio demográfico se definen junto con el protocolo de captura desde el primer día, de modo que el producto final esté preparado para cumplir con marcos como la Ley de IA de la UE, en lugar de tener que adaptarlo posteriormente para cumplirlos una vez finalizada la recopilación de datos.
¿Dónde se utilizan estos datos?
El mismo sistema admite varios casos de uso distintos, aunque los requisitos de datos subyacentes difieren más de lo que la gente espera: en robótica, admite el aprendizaje por imitación para robots humanoides y modelos de ejecución de tareas físicas entrenados con demostraciones humanas reales en lugar de movimiento sintético; en la investigación de IA encarnada, los sistemas de modelado de comportamiento y predicción de acciones necesitan movimiento humano real como base; en simulación y XR, la animación humana digital y los sistemas de interacción de RV/RA necesitan datos de movimiento lo suficientemente realistas como para no romper la inmersión; y en aplicaciones industriales, comprender la actividad humana en entornos minoristas y logísticos generalmente significa modelar un flujo de trabajo en lugar de una sola tarea.
Por qué esto es más difícil de lo que parece
La versión honesta de esta sección: el hardware de captura de movimiento está disponible comercialmente para casi cualquier persona. La diferencia no radica en el equipo en sí (los sistemas Vicon y Xsens son el estándar de la industria, no tecnología propietaria). La clave está en todo lo que sigue a la captura: la sincronización entre sistemas que no fueron diseñados para comunicarse entre sí, la estructuración de trayectorias sin procesar para darles un significado semántico a nivel de tarea, y hacerlo con un volumen y una consistencia que se mantienen a lo largo de cientos de sesiones y en múltiples ubicaciones físicas.
Esa es la parte que no aparece en la hoja de especificaciones del producto, y es la que realmente determina si un conjunto de datos es utilizable.
Lo que distingue a nuestro oleoducto
Gran parte de lo que hemos descrito hasta ahora —Vicon, Xsens, fusión egocéntrica/exocéntrica— es tecnología que cualquier equipo con recursos suficientes podría implementar. Lo que resulta más difícil de implementar es la capa operativa que la rodea, y ahí reside la mayor parte de nuestra verdadera diferenciación.
El cumplimiento normativo forma parte del proceso, no es un paso aparte. La mayoría de los equipos de recopilación de datos entregan el material en bruto y dejan que el cliente se encargue posteriormente de la procedencia, el consentimiento y la documentación demográfica. Nosotros definimos los requisitos de cumplimiento al mismo tiempo que el protocolo de captura, de modo que los registros de consentimiento voluntario, la procedencia de los datos y el equilibrio demográfico se integran desde la primera conversación de planificación, en lugar de tener que reconstruirlos bajo la presión de los plazos cuando un regulador o un cliente posterior los solicita.
La privacidad y la anonimización se gestionan antes de la entrega, no tras una reclamación. Cualquier información que identifique al cliente o información personal en la documentación adjunta se revisa sistemáticamente y se elimina como parte del proceso de entrega estándar, en lugar de una solución improvisada que se aplica solo cuando alguien señala un problema. Esto es más importante de lo que parece: muchos conjuntos de datos técnicamente excelentes se vuelven inutilizables para un cliente porque la documentación que los acompaña no se gestionó con cuidado.
Coordinamos entre diferentes sedes y grupos demográficos sin perder coherencia. Los conjuntos de datos de IA integrada solo son útiles si se generalizan, lo que significa que los protocolos de captura deben funcionar en distintas regiones, tipos de dispositivos y poblaciones de voluntarios, no solo en un único estudio controlado. Diseñar un protocolo que se mantenga coherente al ejecutarse en cinco lugares diferentes con cinco equipos distintos es tanto un problema logístico como técnico, y es uno para el que hemos creado procesos repetibles en lugar de abordarlo desde cero en cada proyecto.
La captura y la estructuración se realizan bajo un mismo techo. Dado que el mismo equipo se encarga de la captura de movimiento, la fusión de múltiples vistas y la estructuración de datos posterior, no hay brechas de transferencia donde se pierda el contexto sobre por qué se grabó una secuencia entre quienes la capturaron y quienes la etiquetaron. Esa continuidad suele ser lo que determina si un conjunto de datos aún puede ser utilizado por un equipo que no estuvo presente durante la grabación original.
¿Qué sigue?
La inteligencia incorporada está pasando de ser un nicho de investigación a algo en lo que los equipos de robótica y simulación están desarrollando activamente productos, lo que significa que el cuello de botella está cambiando de "¿podemos construir el modelo?" a "¿tenemos datos lo suficientemente buenos para entrenarlo?". Ese es el problema para el que estamos construyendo infraestructura.
Si estás trabajando en un proyecto de robótica, simulación o IA integrada y quieres hablar sobre cómo sería un proceso de captura para tu caso de uso específico, ponte en contacto con nosotros; estaremos encantados de explicarte el proceso de definición del alcance.