具身人工智能数据管道内部：我们如何将人类动作转化为机器可读的行为

2026-07-02

介绍

大多数关于具身智能的讨论都集中在模型本身——架构、策略网络、仿真引擎。而真正决定这一切是否有效的因素——模型学习的数据——却很少受到关注。

那是我们负责建造的部分。

过去九年，我们致力于开发数据采集流程，以捕捉人类实际的运动方式、物体操作和任务完成情况，并将其转化为结构化数据集，供机器人和具身人工智能团队直接进行训练。本文将详细介绍该流程的工作原理，并阐述为何细节远比表面看起来重要。

为什么大多数现有数据集都存在不足

基础模型的发展速度超过了支撑它们所需的物理世界数据的增长速度。大多数公开可用的运动和交互数据集都存在三个共同的局限性：它们是在单一固定视角下拍摄的短视频片段，无法重建人物的实际操作意图；它们记录了手部动作，但没有记录动作原因——没有任务结构，没有物体交互上下文，策略无法从中学习意图；而且它们仅在单一环境下拍摄一次，无法很好地迁移到其他环境下运行的机器人。

这不是数据量的问题，而是数据结构的问题。即使你有上百万小时的视频，也未必能从中学习到任何机器人可以掌握的技能。

我们如何捕捉动作：两套系统，七种场景

我们并行运行两套动作捕捉系统，因为它们解决的是不同的问题。

当精度比灵活性更重要时，我们会使用Vicon 光学捕捉系统——例如在受控环境下执行任务时，我们需要亚毫米级的骨骼追踪和帧级精确的轨迹。具体来说，它适用于以下三种场景：

场景 1：精细操作任务。 装配、取放和工具使用动作，其中手指关节角度和接触时间必须非常精确，不允许出现任何误差。
场景 2：用于仿真验证的参考运动。 数字孪生和物理仿真引擎需要一个真实级别的运动数据集来进行校准。
场景 3：生物力学捕捉。 运动动作分析和康复动作分析都需要精确到帧的骨骼轨迹。

当需要在实验室之外进行拍摄任务时，我们会使用Xsens 惯性捕捉技术——在不受限制的真实环境中记录全身运动，让受试者在空间中自然移动，而不是对着摄像机进行表演。具体来说，它涵盖以下四种场景：

场景 4：在真实的家庭或办公室中捕捉日常活动。 人们在自然的生活环境中完成日常任务，不受工作室物理空间的限制。
场景 5：多人协作或互动。 诸如仓库拣货或零售店面协助之类的任务，其中多个参与者同时出现在场景中。
场景 6：大空间或户外运动捕捉。 户外实地考察或在工厂车间进行长距离移动——空间太大，光学设备的覆盖范围无法覆盖。
场景 7：多地点、分布式志愿者招募。 当需要在不同的城市和志愿者群体中复制相同的采集协议时，Xsens 的可移植性和快速部署使其成为扩展的更佳选择。

单独使用任何一种系统都无法获得可用的数据集。光学采集若缺乏真实世界的变化，只能提供清晰但范围较窄的数据；惯性采集若缺乏精度，只能提供覆盖面广但保真度低的数据。我们最终使用哪种系统，以及项目实际需要涵盖上述哪些场景，取决于下游训练任务的具体需求，而这通常是我们在开始采集数据之前与客户进行的第一项沟通。

从原始运动到模型可以真正学习的内容

原始骨骼轨迹并非训练数据。使其可用的关键在于我们构建在其上的结构层。运动被分割成时间序列动作，与交互对象关联起来，并在任务级别而非帧级别进行组织——因此，模型学习的不仅仅是“关节角度的变化”，而是“拿起杯子并倒水的动作是什么样的，包括失败情况和恢复动作”。

这也是我们大部分工程时间投入的地方。数据采集是整个流程中显而易见的部分；而对齐、清洗和结构化则决定了六个月后，当初不在场的团队是否还能使用数据集。

捕捉事件的正反两面：自我中心主义和外在中心主义观点

学习模仿人类行为的机器人需要同时理解两件事：人的意图以及行为发生时周围环境的状况。没有任何一个单一的摄像头角度能够同时提供这两点信息——而这正是具身人工智能数据集中一个常被低估的缺陷。

第一人称视角（自我中心视角）视频是通过头戴式或胸戴式摄像头拍摄的，这些摄像头会跟随演员移动。它记录了演员的意图和逐步决策过程：例如，演员伸手去拿东西之前，他们的视线落在哪里；他们的手是如何接近物体的；以及当事情进展不如预期时，他们在任务过程中做出的微调。这种视角不仅能告诉你动作发生了，还能告诉你动作发生的原因。它也最接近机器人自身内置摄像头最终看到的视角——因此，对于模仿学习而言，第一人称视角的数据通常更贴近实际部署环境。

这种以自我为中心的拍摄手法，其缺点在于画面本身噪点较多。由于镜头跟随头部移动，画面始终存在运动模糊，构图往往会截断你最想看到的物体，而且没有固定的参照点来判断物体在绝对空间中的位置。这种手法本身只能告诉你某人想要做什么，却无法告诉你他们在做这件事时所处的位置。

外视角（第三人称视角）拍摄的画面是由固定在场景周围的摄像机或架设在拍摄设备上的摄像机拍摄的。它记录了以自我为中心的画面无法呈现的空间和环境信息：每个物体相对于其他物体的绝对位置、同一场景中多个主体之间的互动方式以及工作空间的完整几何结构。如果一项任务涉及多人，或者涉及会移出拍摄者视野的物体，那么外视角画面是获取这些信息的唯一途径。

这种权衡取舍则恰恰相反：外向视角镜头展现了房间里发生的一切，却无法展现演员当时的注意力所在，也无法解释他们做出这些选择的原因。两个人做出相同的肢体动作，其意图可能截然不同，而仅凭第三人称视角镜头无法分辨。

为什么融合比任何单一视角都更重要？任何单一视角都不足以全面了解情况，而大多数现有数据集都只选择其中一种视角，并接受其局限性。仅以自我为中心的数据集生成的模型可以模仿手部轨迹，但在空间定位方面存在缺陷——它们不知道自身所处的位置。仅以外部为中心的数据集生成的模型场景理解能力强，但任务语义理解能力弱——它们可以描述正在发生的事情，但无法预测接下来会发生什么或为什么会发生。

融合这两个数据需要解决比同时记录两者更复杂的问题：来自以自我为中心的视频流的每一帧都必须在时间和空间上与来自每个以外部为中心的摄像机的对应帧对齐，尽管这两个系统的几何结构、帧速率和参考坐标完全不同。如果对齐出现哪怕一点点偏差，最终训练的数据中“意图”信号和“上下文”信号实际上并不对应于动作中的同一瞬间——这比完全不进行融合更糟糕，因为模型会学习到错误的关联，而不是没有关联。

我们的大部分校准和同步工作实际上都集中在这一步。如果操作正确，最终会得到一个数据集，模型可以同时学习同一动作的两个部分——人想要做什么，以及他们做这个动作时周围环境的样子——这更接近于机器人部署后实际需要进行的推理。

完整的管道系统是什么样的

从头到尾，一个项目要经历以下步骤：根据客户的训练目标确定采集需求，这决定了我们是使用 Vicon、Xsens 还是两者都用；多摄像头以自我为中心/以外部为中心的视频录制，与动作捕捉同步；传感器对齐和时间同步；数据清理、归一化和结构化为任务级序列；以及以可直接导入训练流程的格式交付。

每个阶段都旨在实现规模化——我们设计的采集方案可在多个站点和志愿者群体中运行，且不会降低一致性，这一点在项目完成概念验证批次后至关重要。合规性文档已融入整个流程，而非事后添加：数据来源、志愿者同意记录和人口统计平衡要求从一开始就与采集方案一同制定，因此最终交付成果能够直接符合欧盟人工智能法案等框架的要求，而无需在数据收集完成后再进行改造。

这些数据将用于何处

同一个流程支持几种不同的用例，尽管其底层数据需求差异比人们预期的要大：在机器人领域，它支持人形机器人的模仿学习和基于真实人类演示而非合成运动训练的物理任务执行模型；在具身人工智能研究中，行为建模和动作预测系统需要真实的人体运动作为基准；在仿真和扩展现实（XR）领域，数字人体动画和虚拟现实/增强现实（VR/AR）交互系统需要足够逼真的运动数据，以免破坏沉浸感；在工业应用中，了解零售和物流环境中的人类活动通常意味着对工作流程而不是单个任务进行建模。

为什么这比看起来更难

本节的客观版本是：动作捕捉硬件几乎人人都能买到。真正的区别不在于设备本身——Vicon 和 Xsens 系统是行业标准，并非专有技术。关键在于捕捉之后的所有环节：如何在原本无法互通的系统间实现同步，如何将原始轨迹数据构建成具有任务级语义意义的信息，以及如何在数百次会话和多个物理场地中保持数据采集的稳定性和一致性。

这部分内容不会出现在产品规格表中，但它却真正决定了数据集是否可用。

我们的管道有何独特之处

我们目前描述的很多技术——Vicon、Xsens、以自我为中心的/以外部为中心的融合——任何资源充足的团队都能搭建起来。更难的是搭建围绕这些技术的运营层，而这正是我们真正差异化优势所在。

合规性是整个流程的一部分，而非独立步骤。大多数数据采集团队交付原始素材后，便将数据来源、知情同意和人口统计文件等问题留给客户后续处理。我们在制定数据采集方案的同时就确定了合规性要求，因此，志愿者知情同意记录、数据来源和人口统计平衡等问题从最初的规划阶段就已纳入考量，而不是等到监管机构或下游客户提出要求后才匆忙补救。

隐私和信息编辑工作在交付前完成，而非在收到投诉后才进行。所有包含客户身份信息或个人身份信息的文件都会在交付流程中经过系统审核并删除，这并非仅在有人提出问题时才采取临时措施。这一点的重要性远超表面——许多技术上无可挑剔的数据集，由于相关文件处理不当，最终导致客户无法使用。

我们跨地点、跨人群进行协调，同时确保数据一致性。具身人工智能数据集只有在具有泛化能力时才有用，这意味着采集协议需要适用于不同的地区、设备类型和志愿者群体，而不仅仅是在单一的受控工作室中。设计一个在五个不同地点由五个不同团队执行时都能保持一致的协议，既是一个技术难题，也是一个后勤难题。为此，我们构建了可重复的流程，而不是在每个项目中都重新设计。

采集和数据处理都在同一团队手中完成。由于动作捕捉、多视角融合以及后续的数据处理都由同一团队负责，因此不会出现交接环节的断层，避免了采集人员和标注人员之间因信息缺失而导致序列录制背景信息丢失的情况。这种连贯性往往决定了即使没有参与原始拍摄的团队，也能继续使用数据集。