Introdução
A maioria das conversas sobre inteligência incorporada se concentra no modelo — a arquitetura, a rede de políticas, o mecanismo de simulação. Muito menos se concentram no que realmente determina se tudo isso funciona: os dados dos quais o modelo aprende.
Essa é a parte que construímos.
Nos últimos 9 anos, trabalhamos em fluxos de coleta de dados que capturam como os humanos realmente se movem, manipulam objetos e realizam tarefas — e transformamos isso em conjuntos de dados estruturados que equipes de robótica e IA incorporada podem usar diretamente para treinamento. Este post explica como o fluxo funciona e por que os detalhes são mais importantes do que podem parecer.
Por que a maioria dos conjuntos de dados existentes fica aquém do esperado?
Os modelos básicos evoluíram mais rápido do que os dados do mundo físico necessários para fundamentá-los. A maioria dos conjuntos de dados de movimento e interação disponíveis publicamente compartilha as mesmas três limitações: são clipes curtos capturados em um único ponto de vista fixo, sem nenhuma maneira de reconstruir o que a pessoa estava realmente tentando fazer; registram que uma mão se moveu, mas não o porquê — sem estrutura de tarefa, sem contexto de interação com o objeto, nada a partir do qual uma política possa aprender a intenção; e são capturados uma única vez, em um ambiente, e não são facilmente transferíveis para um robô operando em outro local.
Isso não é um problema de volume de dados. É um problema de estrutura de dados. Você pode ter um milhão de horas de vídeo e ainda assim não ter nada do qual um robô possa aprender uma habilidade.
Como nós Capturar movimentoDois sistemas, sete cenários
Utilizamos dois sistemas de captura de movimento em paralelo, porque eles resolvem problemas diferentes.
A captura óptica da Vicon é o que usamos quando a precisão é mais importante do que a mobilidade — tarefas em ambiente controlado onde precisamos de rastreamento esquelético submilimétrico e trajetórias com precisão de quadro. Especificamente, ela abrange três cenários:
- Cenário 1: Tarefas de manipulação fina. Movimentos de montagem, de pegar e colocar, e de utilização de ferramentas onde os ângulos das articulações dos dedos e o tempo de contato têm de ser exatos, sem margem para erros.
- Cenário 2: Movimento de referência para validação da simulação. Os mecanismos de simulação física e de gêmeos digitais precisam de um conjunto de dados de movimento com nível de precisão adequado para calibração.
- Cenário 3: Captura biomecânica. A análise do movimento no esporte e a análise do movimento na reabilitação exigem trajetórias esqueléticas precisas em termos de quadro clínico.
A captura inercial da Xsens é o que usamos quando a tarefa precisa sair do laboratório — movimento de corpo inteiro registrado em ambientes reais e sem restrições, onde a pessoa se move naturalmente pelo espaço em vez de atuar para uma câmera. Especificamente, abrange quatro cenários:
- Cenário 4: Captura de atividades cotidianas em residências ou escritórios reais. Pessoas realizando tarefas comuns em ambientes naturais, sem as limitações físicas de um estúdio.
- Cenário 5: Colaboração ou interação entre várias pessoas. Tarefas como separação de pedidos em armazém ou auxílio no piso de vendas, onde vários atores estão presentes na cena ao mesmo tempo.
- Cenário 6: Captura de movimento em grandes espaços ou ao ar livre. Trabalho de campo ao ar livre ou deslocamento de longa distância em um galpão de fábrica — espaços muito grandes para a área de cobertura de um equipamento óptico.
- Cenário 7: Captação de voluntários em vários locais e distribuídos. Quando o mesmo protocolo de captura precisa ser replicado em diferentes cidades e populações de voluntários, a portabilidade e a rápida implementação do Xsens o tornam a melhor opção para escalabilidade.
Nenhum dos sistemas isoladamente fornece um conjunto de dados utilizável. A captura óptica sem a variabilidade do mundo real oferece dados limpos, porém limitados; a captura inercial sem precisão oferece amplitude sem fidelidade. O sistema que utilizamos — e qual dos cenários acima um projeto realmente precisa contemplar — depende do que a tarefa de treinamento subsequente exige, o que geralmente é o primeiro assunto que discutimos com o cliente antes de qualquer captura começar.
Da animação bruta a algo que um modelo realmente pode aprender.
As trajetórias esqueléticas brutas não são dados de treinamento. O trabalho que as torna utilizáveis é a camada de estruturação que construímos sobre ela. O movimento é segmentado em sequências temporais de ações, associado aos objetos com os quais se interage e organizado no nível da tarefa, em vez do nível do quadro — assim, um modelo não está apenas aprendendo "os ângulos das articulações mudaram", mas sim "é assim que se pega uma xícara e se despeja o líquido, incluindo os casos de falha e os movimentos de recuperação".
É também aqui que a maior parte do nosso tempo de engenharia é gasto. A captura é a parte visível do processo; o alinhamento, a limpeza e a estruturação são as etapas que determinam se o conjunto de dados será utilizável seis meses depois por uma equipe que não estava presente no momento da coleta.
Capturando os dois lados de uma ação: Visões egocêntricas e exocêntricas
Um robô que aprende a imitar o comportamento humano precisa entender duas coisas simultaneamente: o que a pessoa pretendia fazer e como era o ambiente ao seu redor enquanto fazia isso. Nenhum ângulo de câmera isolado fornece ambas as informações — e esse é um dos pontos fracos mais subestimados em conjuntos de dados de IA incorporada.
As imagens egocêntricas (em primeira pessoa) são capturadas por uma câmera montada na cabeça ou no peito que se move com o ator. Elas registram a intenção e a tomada de decisão passo a passo: o que a pessoa está olhando imediatamente antes de alcançar algo, como sua mão se aproxima de um objeto, os microajustes que ela faz durante a tarefa quando algo não sai como planejado. Essa é a perspectiva que explica por que um movimento aconteceu, e não apenas que ele aconteceu. É também a perspectiva mais próxima daquela que a câmera integrada de um robô eventualmente captará — portanto, para o aprendizado por imitação especificamente, os dados egocêntricos costumam ser os que melhor se aproximam das condições de implementação.
A desvantagem é que as filmagens egocêntricas são ruidosas por natureza. A câmera se move com a cabeça, então há um desfoque de movimento constante, um enquadramento que corta exatamente o objeto que você mais quer ver e nenhum ponto de referência fixo para entender onde qualquer coisa está no espaço absoluto. Por si só, elas mostram o que alguém pretendia fazer, mas não onde essa pessoa estava enquanto fazia.
A filmagem exocêntrica (em terceira pessoa) é capturada por câmeras fixas ou montadas em equipamentos posicionados ao redor da cena. Ela registra o contexto espacial e ambiental que a filmagem egocêntrica não consegue capturar: a posição absoluta de cada objeto em relação a todos os outros, como múltiplos agentes na mesma cena interagem entre si e em torno uns dos outros, a geometria completa do espaço de trabalho. Se uma tarefa envolve mais de uma pessoa, ou envolve um objeto que se move para fora do campo de visão do ator, a filmagem exocêntrica é a única fonte onde essa informação existe.
A contrapartida funciona na direção oposta: a filmagem exocêntrica mostra tudo o que aconteceu na sala, mas nada sobre o que o ator estava observando ou por que fez as escolhas que fez. Duas pessoas realizando o mesmo movimento físico podem ter intenções completamente diferentes, e uma câmera em terceira pessoa sozinha não consegue determinar qual delas.
Por que a fusão é mais importante do que qualquer uma das perspectivas isoladamente? Nenhuma perspectiva é suficiente por si só, e a maioria dos conjuntos de dados existentes escolhe uma delas e aceita a lacuna. Conjuntos de dados exclusivamente egocêntricos produzem modelos que podem imitar trajetórias de mãos, mas têm dificuldades com a localização espacial — eles não sabem onde estão. Conjuntos de dados exclusivamente exocêntricos produzem modelos com boa compreensão da cena, mas com semântica de tarefa fraca — eles podem descrever o que está acontecendo, mas não podem prever o que vem a seguir ou por quê.
A fusão dos dois requer a resolução de um problema mais complexo do que simplesmente gravar ambos: cada quadro do fluxo egocêntrico precisa ser alinhado temporal e espacialmente com os quadros correspondentes de cada câmera exocêntrica, apesar de os dois sistemas possuírem geometrias, taxas de quadros e coordenadas de referência completamente diferentes. Se o alinhamento estiver minimamente incorreto, o modelo acaba sendo treinado com dados em que o sinal de "intenção" e o sinal de "contexto" não correspondem ao mesmo instante da ação — o que é pior do que não ter fusão alguma, pois o modelo aprende uma correlação falsa em vez de nenhuma correlação.
Esta é a etapa onde a maior parte do nosso trabalho de calibração e sincronização realmente acontece. Se feito corretamente, o resultado é um conjunto de dados onde um modelo pode aprender as duas metades da mesma ação simultaneamente — o que a pessoa pretendia fazer e como era o mundo ao seu redor enquanto ela fazia isso — o que se aproxima mais de como um robô realmente precisará raciocinar quando for implantado.
Como será o processo completo?
Do início ao fim, um projeto passa por: definição dos requisitos de captura em relação ao objetivo de treinamento do cliente, o que determina se usaremos Vicon, Xsens ou ambos; gravação de vídeo egocêntrica/exocêntrica multicâmera, sincronizada com a captura de movimento; alinhamento e sincronização temporal dos sensores; limpeza, normalização e estruturação dos dados em sequências de tarefas; e entrega em formatos prontos para ingestão direta em fluxos de trabalho de treinamento.
Cada etapa é projetada para ser escalável — desenvolvemos protocolos de captura que podem ser executados em vários locais e grupos de voluntários sem perder a consistência, o que é fundamental quando um projeto ultrapassa a fase inicial de prova de conceito. A documentação de conformidade é integrada a esse processo, em vez de ser adicionada posteriormente: a proveniência dos dados, os registros de consentimento dos voluntários e os requisitos de balanceamento demográfico são definidos juntamente com o protocolo de captura desde o início, de modo que o produto final esteja pronto para estruturas como a Lei de IA da UE, em vez de ser adaptado posteriormente para atendê-las após a coleta já ter sido concluída.
Onde esses dados são usados
O mesmo pipeline suporta alguns casos de uso distintos, embora os requisitos de dados subjacentes sejam mais diferentes do que se imagina: em robótica, ele suporta o aprendizado por imitação para robôs humanoides e modelos de execução de tarefas físicas treinados em demonstrações humanas reais, em vez de movimento sintético; em pesquisa de IA incorporada, sistemas de modelagem de comportamento e previsão de ações precisam de movimento humano real como base; em simulação e XR, animação humana digital e sistemas de interação VR/AR precisam de dados de movimento realistas o suficiente para não quebrar a imersão; e em aplicações industriais, entender a atividade humana em ambientes de varejo e logística geralmente significa modelar um fluxo de trabalho em vez de uma única tarefa.
Por que isso é mais difícil do que parece
A versão honesta desta seção: o hardware de captura de movimento está disponível comercialmente para quase qualquer pessoa. O diferencial não está no equipamento em si — os sistemas Vicon e Xsens são o padrão da indústria, não tecnologia proprietária. Está em tudo o que vem depois da captura: a sincronização entre sistemas que não foram projetados para se comunicar entre si, a estruturação de trajetórias brutas em algo com significado semântico específico para a tarefa e a realização disso em um volume e consistência que se mantém ao longo de centenas de sessões e em múltiplos locais físicos.
Essa é a parte que não aparece na ficha técnica do produto, e é a parte que realmente determina se um conjunto de dados é utilizável.
O que diferencia nosso gasoduto
Grande parte do que descrevemos até agora — Vicon, Xsens, fusão egocêntrica/exocêntrica — é tecnologia que qualquer equipe bem equipada poderia desenvolver. O que é mais difícil de desenvolver é a camada operacional que a envolve, e é aí que reside a maior parte do nosso diferencial.
A conformidade faz parte do processo, não é uma etapa separada. A maioria das equipes de coleta de dados entrega as gravações brutas e deixa a documentação de proveniência, consentimento e dados demográficos para o cliente resolver posteriormente. Nós definimos os requisitos de conformidade ao mesmo tempo que definimos o protocolo de captura, de modo que os registros de consentimento dos voluntários, a proveniência dos dados e o balanceamento demográfico sejam incorporados desde a primeira conversa de planejamento — e não reconstruídos sob pressão de prazos, quando um órgão regulador ou cliente posterior os solicita.
A privacidade e a redação de dados são tratadas antes da entrega, não após uma reclamação. Quaisquer informações que identifiquem o cliente ou dados pessoais presentes na documentação de apoio são sistematicamente revisadas e removidas como parte padrão do processo de entrega, em vez de uma correção pontual aplicada somente quando alguém aponta um problema. Isso é mais importante do que parece — muitos conjuntos de dados tecnicamente excelentes tornam-se inutilizáveis para o cliente porque a documentação associada a eles não foi tratada com o devido cuidado.
Coordenamos entre diferentes locais e grupos demográficos sem perder a consistência. Os conjuntos de dados de IA incorporada só são úteis se forem generalizáveis, o que significa que os protocolos de captura precisam funcionar em diferentes regiões, tipos de dispositivos e populações de voluntários — não apenas em um único estúdio controlado. Desenvolver um protocolo que permaneça consistente quando executado em cinco locais diferentes por cinco equipes diferentes é um problema tanto logístico quanto técnico, e é para isso que criamos processos repetíveis, em vez de resolvê-lo do zero em cada projeto.
A captura e a estruturação são realizadas em um único local. Como a mesma equipe cuida da captura de movimento, da fusão de múltiplas visualizações e da estruturação de dados subsequente, não há lacunas na transição entre quem gravou a sequência e quem a rotulou, evitando que o contexto sobre o motivo da gravação se perca. Essa continuidade é, muitas vezes, o que determina se um conjunto de dados ainda é utilizável por uma equipe que não estava presente durante a filmagem original.
Para onde isso vai a seguir?
A inteligência incorporada está deixando de ser um nicho de pesquisa para se tornar algo em torno do qual as equipes de robótica e simulação estão ativamente desenvolvendo produtos — o que significa que o gargalo está mudando de "conseguimos construir o modelo?" para "temos dados bons o suficiente para treiná-lo?". É para esse problema que estamos construindo infraestrutura.
Se você está trabalhando em um projeto de robótica, simulação ou IA incorporada e deseja discutir como seria um pipeline de captura para o seu caso específico, entre em contato — terei prazer em explicar o processo de definição de escopo.