同期された自我-外骨格データによって、ヒューマノイド操作における「運動学的乖離」がどのように解決されたか  

同期された自我-外骨格データによって、ヒューマノイド操作における「運動学的乖離」がどのように解決されたか

人型ロボットを商業環境に導入する競争において、エンジニアリングチームは「把持」の技術を習得した。模倣学習と視覚・言語・行動(VLA)モデルを用いることで、ロボットはバルブ、箱、工具などを見て、それをつかむために必要な指の位置を正確に計算できるようになった。

しかし、実際に作業を実行しようとすると、ロボットは頻繁にバランスを崩したり、棚に衝突したり、必要なトルクを発生させることができなかったりする。

最近、大手ヒューマノイドロボット企業が、まさにこの問題を解決するためにSurfing AIと提携しました。彼らは、自社のモデルが「運動学的断絶」という深刻なデータ盲点を抱えていることを発見したのです。

ここでは、Surfing AIの同期型Ego-Exoデータセットを使用して、手の操作と全身の空間認識能力の間のギャップを埋めた方法を紹介します。

課題:自己中心的なデータによる「視野狭窄」

当初、ロボットチームは、純粋に自己中心的な(一人称視点の)ビデオデータを使用して、操作ポリシーのトレーニングを行っていた。人間のオペレーターがヘッドマウントカメラを装着し、複雑なビンピッキング作業を行い、ロボットのAIがその手の動きを模倣するように学習した。

問題点は?自己データのみでは、モデルが「視野狭窄」に陥ってしまうことだ。

AIは人間の指が物体を包み込む様子を正確に学習したが、人間の重心、肩の角度、そして高い棚から重い物体を後ろに倒れずに引き下ろすために必要な微妙な体重移動については全く認識していなかった。人型ロボットが正確な手の動きを再現しようとした際、安全に実行するための全身の状況を捉えることができなかった。

解決策:サーフィンAIの同期型自我・外在化パイプライン

この問題を解決するため、同社は手の微細な動きと体の大きな動きの両方を捉えるデータセットを必要としていました。そこで、Surfing AIを導入し、自社の倉庫作業に特化したカスタムEgo-Exoデータセットをキャプチャして注釈を付けました。

1. デュアルパースペクティブキャプチャ:

熟練した作業員は、頭部装着型カメラ(Ego)を装着して複雑な組み立てやピッキング作業を行い、正確な把持動作を記録した。一方、校正済みの環境カメラ(Exo)は、作業員の全身の運動学と作業空間の空間形状を記録した。

2. ミリ秒単位の時間同期:

Surfing AIのパイプラインは、EgoストリームとExoストリーム間の時間同期を10ミリ秒未満に抑えることに成功しました。これにより、人間の指がトルクを加えたフレーム(Ego)と、肩が重量を吸収したフレーム(Exo)が完全に一致することが保証されました。

3. 多層構造の専門家による注釈:

Surfing AIの熟練したアノテーターは、Exoデータ(人間の全身骨格をマッピング)に高密度の3Dキーポイントトラッキングを適用するとともに、Egoデータ(手と物体の相互作用をマッピング)に高精度なセマンティックセグメンテーションを適用した。

その影響:ぎこちなさから協調性へ

この同期されたEgo-Exoデータを模倣学習パイプラインに入力することで、ロボットチームは人間からロボットへのスキル移転において画期的な成果を達成した。

  • 衝突事故発生率が45%減少: ロボットは(外骨格ビューを通して)自身の胴体と周囲の環境との空間的な境界をようやく理解したため、棚に腕をむやみに振り回すのをやめた。
  • トルク伝達の成功: ロボットは人間の全身の体重移動を模倣することを学習し、以前はモーターが停止してしまうような重くて挟まった物体を引っ張ることに成功した。
  • 政策収束速度が3倍向上: VLAモデルに包括的な空間コンテキストを与えることで、シミュレーションにおいて必要となる強化学習(RL)の微調整量を大幅に削減できた。

まとめ

人間が見るものだけをロボットに見せても、人間のように動くように教えることはできません。真の身体性を備えた知能には、空間、物理学、そして身体力学に関する包括的な理解が必要です。

Surfing AIのEgo-Exoデータセットは、ぎこちないロボットアームを協調性のある商用グレードの物理エージェントに変えるのに必要な、同期されたマルチビューのグラウンドトゥルースを提供します。あなたの操作モデルがうまく機能しないのは、全体像が欠けているからではありませんか?

Surfing AIのエンボディードAIとエゴエクソソリューションを探求しよう

今すぐご相談ください
上へスクロール