同步的自我-外骨骼数据如何解决人形机器人操控中的“运动学脱节”问题  

同步的自我-外骨骼数据如何解决人形机器人操控中的“运动学脱节”问题

在将人形机器人部署到商业环境的竞赛中,工程团队已经掌握了“抓取”的艺术。利用模仿学习和视觉-语言-动作(VLA)模型,机器人现在可以观察阀门、盒子或工具,并成功计算出拾取它们所需的手指位置。

但到了实际执行任务的时候,机器人经常会失去平衡,撞到货架,或者无法产生必要的扭矩。

最近,一家领先的商用人形机器人公司与Surfing AI合作,旨在解决这个问题。他们发现,他们的模型存在一个巨大的数据盲点:运动学断层。

以下是他们如何使用 Surfing AI 的同步Ego-Exo 数据集来弥合手部操作和全身空间推理之间的差距。

挑战:以自我为中心的“隧道视野”

最初,机器人团队使用纯粹以自我为中心的(第一人称)视频数据来训练其操作策略。一名操作员佩戴头戴式摄像头,执行一项复杂的拣货任务,机器人的人工智能学习模仿手部动作。

问题在于?仅包含自我中心数据的数据会让模型陷入“隧道视野”。

人工智能精确地学习了人类手指如何弯曲握住物体,但它完全无法感知人类的重心、肩膀角度以及从高处取下重物而不向后摔倒所需的微妙重心转移。当人形机器人试图复制这种手部动作时,由于缺乏全身动作信息,它无法安全地完成操作。

解决方案:利用 AI 的同步自我-外向管道

为了解决这个问题,该公司需要一个能够同时捕捉手部微交互和身体宏观运动的数据集。他们部署了 Surfing AI 来采集和标注一个定制的Ego-Exo 数据集,该数据集专为满足其特定的仓库操作任务而设计。

1. 双视角捕捉:

人类专家佩戴头戴式摄像机(Ego)执行复杂的装配和拣选任务,以捕捉精确的抓握力学,同时校准的环境摄像机(Exo)捕捉他们的全身运动学和工作空间的空间几何形状。

2. 毫秒级时间同步:

Surfing AI 的流程确保了 Ego 和 Exo 数据流之间小于 10 毫秒的时间同步。这保证了人手指施加扭矩的帧(Ego)与肩膀承受重量的帧(Exo)完美对齐。

3. 多层专家标注:

Surfing AI 的专家标注员对 Exo 数据应用了密集的 3D 关键点跟踪(映射完整的人体骨骼),同时对 Ego 数据应用了精确的语义分割(映射手部物体功能)。

影响:从笨拙到协调

通过将这种同步的自我-外骨骼数据输入到他们的模仿学习流程中,机器人团队在人机技能转移方面取得了突破:

  • 碰撞率降低 45%: 因为机器人终于理解了自身躯干相对于环境的空间边界(通过外骨骼视图),它不再盲目地挥舞手臂去够货架单元。
  • 扭矩传递成功: 该机器人学会了模仿人类全身的重心转移,从而能够成功地拉动以前会导致其电机停转的沉重楔形物体。
  • 策略收敛速度提升 3 倍: 为 VLA 模型提供整体空间背景,大大减少了模拟中所需的强化学习 (RL) 微调量。

外卖

如果你只向机器人展示人类所看到的东西,就无法教会它像人类一样行动。真正的具身智能需要对空间、物理和人体力学有全面的理解。

Surfing AI 的 Ego-Exo 数据集提供了同步的多视角真实数据,可以将笨拙的机械臂转变为协调的、商业级的物理代理。您的操控模型是否因为缺乏完整的信息而失败?

探索 Surfing AI 的具身人工智能和自我外在解决方案

立即联系我们
滚动到顶部