Ego-Exoデータセット

ウェアラブルカメラの一人称視点映像と外部カメラの視点を組み合わせることで、包括的な空間認識を実現します。マルチカメラ同期により、ユーザーの視点と周囲の状況の両方を捉えます。

他社とのちがい

エゴ＋エクソの見解

一人称視点と外部視点を単一の同期データセットにまとめたもの

カメラ同期

ミリ秒レベルの複数デバイス位置合わせのためのタイムスタンプQRコード

インタラクションに焦点を当てる

物体操作と人間同士の相互作用の両方のシナリオ

実世界のタスク

実践的なAIトレーニングのための、実際の環境における日常的な活動

データ収集の設定

複数カメラによる同期撮影

ウェアラブルカメラ1台と外部カメラ2台を、タイムスタンプ付きQRコード技術で同期させ、3つの視点すべてにおいて正確な位置合わせを実現している。

カメラ設定	ウェアラブルデバイス1台 + 外部カメラ2台
ビュー	自己視点 + 外部視点
同期	タイムスタンプQRコード
Data Type	マルチビュービデオデータセット
環境	現実世界のシナリオ

マルチビューデータ構造

3台のカメラによる視点システム

エゴの視点

ユーザーの視点から
手の動きの詳細
オブジェクトとの相互作用プロセス
一人称視点のアクション情報

Exo View

外部カメラから
全身運動
空間関係
環境コンテキスト

データセットの例

例１：衣類のたたみ方

人間が実際の環境で衣服をたたむ様子を、3つの同期した視点から撮影した映像。

一人称視点ウェアラブル前面外部カメラ側面外部カメラ

キャプチャ：手と物体の相互作用・折りたたみプロセス・操作動作

エゴの視点

Exo View1

Exo View2

例２：人間介護活動

9つの身体部位を対象とした、人間の介護活動を多角的な視点から記録した映像。

戻るショルダー胸手首腕脚ネック頭足

キャプチャ：人間の動作パターン・身体相互作用プロセス・マルチビュー空間情報

エゴの視点

Exo View1

Exo View2

例３：ベーキング ― ケーキ作り

キッチンで人がケーキを作る様子を、3つの同期した視点から撮影した映像。

一人称視点ウェアラブル前面外部カメラ側面外部カメラ

キャプチャ：材料の取り扱い、生地の混合と注ぎ、アイシング/デコレーション、ツールとオブジェクトの操作プロセス、マルチビュー空間情報

エゴの視点

Exo View1

Exo View2

例4：ヘアカット

美容師がサロンで顧客のヘアカットを行っている様子を、3つの同期した視点から撮影した映像。

一人称視点ウェアラブル前面外部カメラ側面外部カメラ

撮影内容：道具と毛髪の相互作用、カット／スタイリング技術、2人による空間的な協調

エゴの視点

Exo View1

Exo View2

例5：美容／スキンケア

美容師が顧客にフェイシャルスキンケアの施術を行っている様子を、3つの同期した視点から撮影した映像。

一人称視点ウェアラブル前面外部カメラ側面外部カメラ

撮影内容：繊細な手と顔のインタラクション、製品の塗布技術、多角度からの顔のディテール

エゴの視点

Exo View1

Exo View2

データセットの仕様

Data Type	マルチビュービデオデータセット
カメラ設定	Egoカメラ1台 + Exoカメラ2台
同期	タイムスタンプQRコード
視点	一人称視点 + 三人称視点
環境	現実世界のシナリオ
タスク	操作と相互作用
アノテーション	リクエストも承ります

用途

高度なAI研究の支援

人型ロボットの学習ロボットマニピュレーション VLAモデル人間とロボットのインタラクションマルチモーダル AI 具現化された知性

このデータセットを研究や製品開発に活用することにご興味をお持ちですか？ぜひ弊社チームまでお問い合わせください。