イントロダクション
具現化された知能に関する議論のほとんどは、モデル、つまりアーキテクチャ、ポリシーネットワーク、シミュレーションエンジンに焦点を当てています。しかし、それらが実際に機能するかどうかを決定づけるもの、つまりモデルが学習するデータに焦点を当てた議論ははるかに少ないのです。
それが私たちが構築する部分です。
過去9年間、私たちは人間が実際にどのように動き、物体を操作し、タスクを完了するかを捉え、それをロボット工学や身体化されたAIチームが直接学習できる構造化データセットに変換するデータ収集パイプラインの開発に取り組んできました。この記事では、そのパイプラインの仕組みと、細部がなぜ見た目以上に重要なのかを解説します。
既存のデータセットのほとんどが不十分な理由
基盤となるモデルは、それを裏付けるために必要な物理世界のデータよりも速いペースで拡大してきました。一般に公開されている動作およびインタラクションのデータセットのほとんどは、次の3つの制限を共有しています。1つ目は、単一の固定された視点から撮影された短いクリップであり、人が実際に何をしようとしていたのかを再現する方法がないことです。2つ目は、手が動いたことは記録されますが、その理由は記録されません。タスク構造も、オブジェクトとのインタラクションのコンテキストもなく、ポリシーが意図を学習できるような情報もありません。3つ目は、1つの環境で一度だけ撮影されたものであり、別の場所で動作するロボットにはうまく適用できないことです。
これはデータ量の問題ではなく、データ構造の問題です。100万時間分の動画があっても、ロボットがスキルを学習できるようなデータは何もないかもしれません。
私たちはどうやって モーションキャプチャ2つのシステム、7つのシナリオ
異なる問題を解決するため、2つのモーションキャプチャシステムを並行して運用しています。
Viconの光学式キャプチャは、機動性よりも精度が重要な場合、つまりサブミリメートル単位の骨格追跡とフレーム単位の正確な軌道が必要な制御された環境下での作業に使用します。具体的には、次の3つのシナリオに対応します。
- シナリオ1：精密な操作作業。 組み立て、ピックアンドプレース、工具使用などの動作では、指関節の角度と接触タイミングが正確でなければならず、一切のミスが許されない。
- シナリオ2：シミュレーション検証のための基準動作。 デジタルツインや物理シミュレーションエンジンは、較正を行うためのグラウンドトゥルースレベルのモーションデータセットを必要とする。
- シナリオ3：生体力学的捕捉。 スポーツ動作分析とリハビリテーション動作分析はいずれも、フレーム単位で正確な骨格軌道を必要とする。
Xsensの慣性キャプチャは、ラボ外での作業が必要な場合に使用します。これは、カメラリグのために演技するのではなく、人が空間内を自然に動き回る、制約のない現実世界の環境で全身の動きを記録するものです。具体的には、次の4つのシナリオに対応しています。
- シナリオ4：実際の家庭やオフィスにおける日常活動の記録。 スタジオの物理的な制約を受けず、自然な生活環境の中で日常的な作業をこなす人々。
- シナリオ5：複数人による共同作業または相互作用。 倉庫でのピッキング作業や小売店のフロアサポートなど、複数の人物が同時に現場にいるような作業。
- シナリオ6：広い空間または屋外での動きのキャプチャ。 屋外でのフィールドワークや工場内での長距離移動など、光学機器のカバー範囲を超えるような広い空間。
- シナリオ7：複数拠点での分散型ボランティア募集。 同じデータ収集プロトコルを複数の都市やボランティア集団で複製する必要がある場合、Xsensの移植性と迅速な展開能力は、規模拡大に最適です。
どちらのシステムも単独では実用的なデータセットは得られません。実世界の変動を考慮しない光学式キャプチャでは、クリーンではあるものの限定的なデータしか得られません。一方、精度を考慮しない慣性式キャプチャでは、広範囲にわたるデータは得られますが、忠実度は低くなります。どのシステムを使用するか、そして上記のシナリオのうちどれをプロジェクトで実際にカバーする必要があるかは、下流のトレーニングタスクの要件によって決まります。これは通常、キャプチャを開始する前にクライアントと最初に行う話し合いで明らかになります。
生の動きから、モデルが実際に学習できるものへ
生の骨格軌跡は学習データではありません。それらを使えるようにするのは、その上に構築する構造化レイヤーです。動きは時間的な動作シーケンスに分割され、操作対象のオブジェクトにタグ付けされ、フレームレベルではなくタスクレベルで整理されます。つまり、モデルは単に「関節角度が変わった」ことを学習するのではなく、「カップを持ち上げて注ぐ動作は、失敗例や回復動作も含めて、どのように見えるか」を学習するのです。
実際、私たちのエンジニアリング時間の大部分はここに費やされています。キャプチャはパイプラインの目に見える部分ですが、アライメント、クリーニング、構造化は、データセットが6か月後に、録画時にその場にいなかったチームでも使用できるかどうかを決定づける部分です。
行動の両面を捉える： 自己中心的な視点と他者中心的な視点
人間の行動を模倣することを学習するロボットは、同時に2つのことを理解する必要があります。それは、その人が何をしようとしていたのか、そしてその行動中に周囲の状況がどう見えていたのか、ということです。単一のカメラアングルでは両方を同時に捉えることはできません。そして、これは身体化されたAIデータセットにおける、あまり認識されていない失敗点の1つです。
一人称視点（エゴセントリック）の映像は、被験者の動きに合わせて動くヘッドマウントカメラまたはチェストマウントカメラで撮影されます。この映像は、被験者が何かを取ろうとする直前に実際に何を見ているのか、手がどのように物体に近づくのか、計画通りに進まなかったときに作業中にどのような微調整を行うのかなど、意図や段階的な意思決定を記録します。これは、単に動作が起こったという事実だけでなく、なぜその動作が起こったのかを教えてくれる視点です。また、ロボットに搭載されたカメラが最終的に捉える映像に最も近い視点でもあります。そのため、特に模倣学習においては、一人称視点のデータは実際の運用状況により近いものとなることが多いのです。
その代償として、一人称視点の映像は本質的にノイズが多い。カメラは頭の動きに合わせて動くため、常にモーションブラーが発生し、最も見たい被写体がフレームから外れてしまい、絶対空間における物体の位置を把握するための固定された基準点も存在しない。それだけでは、誰かが何をしようとしていたかはわかるが、その行動をとったときにどこに立っていたかはわからない。
外見（三人称視点）の映像は、シーンの周囲に配置された固定カメラまたはリグに取り付けられたカメラで撮影されます。これは、自己視点の映像では捉えられない空間的および環境的な状況、つまり、あらゆるオブジェクトの他のオブジェクトに対する絶対位置、同じシーン内の複数のエージェントが互いにどのように相互作用し、周囲をどのように移動するか、作業空間の完全な形状などを記録します。タスクに複数の人が関わる場合、またはオブジェクトが俳優の視野から外れて移動する場合、外見の映像は、その情報が存在する唯一の場所です。
トレードオフは逆方向にある。外見的な映像は部屋の中で起こったすべての出来事を映し出すが、俳優が何に注意を払っていたのか、なぜそのような選択をしたのかについては何も分からない。同じ動作をしている二人が全く異なる意図を持っている可能性があり、三人称視点のカメラだけではどちらが意図していたのかを判断することはできない。
なぜ融合がどちらか一方の視点だけよりも重要なのか。どちらの視点も単独では不十分であり、既存のデータセットのほとんどはどちらか一方を選び、そのギャップを受け入れている。自己中心視点のみのデータセットは、手の軌跡を模倣できるモデルを生成するが、空間的な位置関係の把握に苦労する。つまり、自分がどこにいるのかが分からない。外中心視点のみのデータセットは、シーンの理解は良好だが、タスクの意味論が弱いモデルを生成する。つまり、何が起こっているかは説明できるが、次に何が起こるか、なぜ起こるかを予測することはできない。
この2つのデータを融合するには、単に両方を記録するよりも難しい問題を解決する必要があります。つまり、自己中心ストリームのすべてのフレームを、外部カメラからの対応するフレームと時間的にも空間的にも位置合わせする必要があるのです。2つのシステムは、形状、フレームレート、参照座標が全く異なるにもかかわらずです。位置合わせが少しでも間違っていると、「意図」信号と「コンテキスト」信号が実際には動作の同じ瞬間に対応していないデータで学習することになり、これは融合を全く行わないよりも悪い結果となります。なぜなら、モデルは相関関係がないのではなく、誤った相関関係を学習してしまうからです。
これは、キャリブレーションと同期作業の大部分が行われる段階です。正しく行えば、モデルが同じ動作の両側面（人が何をしようとしたのか、そしてその動作中に周囲の状況がどうだったのか）を同時に学習できるデータセットが得られます。これは、ロボットが実際に配備された際に必要となる推論方法により近いものです。
パイプライン全体の様子
プロジェクトは、最初から最後まで、クライアントのトレーニング目標に基づいてキャプチャ要件の範囲を定め、Vicon、Xsens、またはその両方を使用するかどうかを決定します。次に、モーションキャプチャと同期したマルチカメラによる自己中心/外部中心ビデオ録画、センサーの位置合わせと時間同期、データのクリーニング、正規化、タスクレベルのシーケンスへの構造化、そしてトレーニングパイプラインに直接取り込める形式での納品へと進みます。
すべての段階は拡張性を考慮して設計されています。複数のサイトやボランティアプールで一貫性を損なうことなく実行できるキャプチャプロトコルを設計しており、これはプロジェクトが単一の概念実証バッチを超えて進む際に重要となります。コンプライアンス文書は後から追加されるのではなく、このプロセスに組み込まれています。データの出所、ボランティアの同意記録、人口統計学的バランス要件は、キャプチャプロトコルと並行して最初から範囲設定されているため、成果物は収集が完了した後にEU AI法などのフレームワークに適合するように修正されるのではなく、すぐに適用できる状態になっています。
このデータはどこで利用されるのか
同じパイプラインはいくつかの異なるユースケースをサポートしていますが、その基盤となるデータ要件は予想以上に異なります。ロボット工学では、合成モーションではなく実際の人間のデモンストレーションに基づいてトレーニングされたヒューマノイドロボットの模倣学習と物理的なタスク実行モデルをサポートします。具現化されたAI研究では、行動モデリングとアクション予測システムには、ベースラインとしてグラウンドトゥルースの人間の動きが必要です。シミュレーションとXRでは、デジタルヒューマンアニメーションとVR/ARインタラクションシステムには、没入感を損なわないほどリアルなモーションデータが必要です。産業アプリケーションでは、小売および物流環境における人間の活動を理解するには、通常、単一のタスクではなくワークフローをモデル化する必要があります。
なぜこれが見た目より難しいのか
このセクションの正直な説明：モーションキャプチャハードウェアは、ほぼ誰でも市販されています。差別化要因は機器ではありません。ViconやXsensのシステムは業界標準であり、独自の技術ではありません。重要なのはキャプチャ後の処理です。つまり、相互に通信するように設計されていないシステム間での同期、生の軌跡をタスクレベルの意味を持つ構造化、そして数百回のセッションと複数の物理的な場所にわたって維持できる量と一貫性でのこれらの処理です。
それは製品仕様書には記載されていない部分であり、データセットが実際に使用可能かどうかを決定づける部分です。
当社のパイプラインの特徴
これまで説明してきたVicon、Xsens、自己中心型／外部中心型融合といった技術の多くは、十分なリソースを持つチームであれば構築できるものです。構築が難しいのは、その技術を取り巻く運用レイヤーであり、そこにこそ私たちの真の差別化要因の大部分が存在するのです。
コンプライアンスはパイプラインの一部であり、独立したステップではありません。ほとんどのデータ収集チームは、生の映像をクライアントに引き渡した後、出所、同意、人口統計に関する文書化をクライアント側で後から処理する問題として残しています。当社では、キャプチャプロトコルを策定するのと同時にコンプライアンス要件も策定するため、ボランティアの同意記録、データの出所、人口統計のバランス調整は、最初の計画段階から組み込まれており、規制当局や下流のクライアントから要求されて締め切りに追われて再構築されることはありません。
プライバシー保護と個人情報削除は、苦情対応後ではなく、納品前に実施されます。サポート文書に含まれる顧客識別情報や個人識別情報は、問題が指摘された後にのみ場当たり的に修正されるのではなく、納品プロセスの標準的な一部として体系的にレビューされ、削除されます。これは、想像以上に重要なことです。技術的に優れたデータセットであっても、関連する書類の処理が不十分なために、顧客にとって利用できないものになってしまうケースが多々あります。
私たちは、一貫性を損なうことなく、拠点や人口統計学的属性を問わず連携を図っています。具現化されたAIデータセットは、汎用性があって初めて有用となるため、キャプチャプロトコルは、単一の管理されたスタジオ内だけでなく、さまざまな地域、デバイスの種類、ボランティア集団にわたって機能する必要があります。5つの異なる場所で5つの異なるチームが実行する際に一貫性を保つプロトコルを設計することは、技術的な問題であると同時にロジスティクス上の問題でもあり、私たちはプロジェクトごとに新たに解決するのではなく、再現可能なプロセスを構築することでこの問題を解決してきました。
撮影とデータ構造化は同一チーム内で行われます。モーションキャプチャ、マルチビュー融合、そして下流のデータ構造化を同じチームが担当するため、シーケンスが記録された理由に関するコンテキストが、撮影者とラベル付け担当者の間で失われるといった引き継ぎのギャップが生じません。この継続性こそが、元の撮影現場にいなかったチームがデータセットを引き続き使用できるかどうかを左右する重要な要素となることが多いのです。
今後の展開は？
身体化された知能は、研究分野からロボット工学やシミュレーションチームが積極的に製品開発に取り組む分野へと移行しつつあります。つまり、ボトルネックは「モデルを構築できるか」から「モデルを訓練するのに十分なデータがあるか」へと変化しているのです。私たちがインフラを構築しているのは、まさにこの問題への対応策です。
ロボット工学、シミュレーション、または具現化されたAIプロジェクトに取り組んでいて、特定のユースケースにおけるキャプチャパイプラインがどのようなものになるかについて話し合える場合は、ぜひご連絡ください。スコープ定義のプロセスについて喜んでご説明いたします。