Набор данных Ego-Exo

Сочетает изображение с носимой камеры от первого лица с перспективой внешней камеры для всестороннего понимания пространства. Синхронизация нескольких камер позволяет фиксировать как точку зрения пользователя, так и окружающий контекст.

Ключевые особенности

Взгляды Эго + Экзо

Изображения от первого лица и внешние виды в одном синхронизированном наборе данных.

Синхронизация камеры

QR-код с временной меткой для выравнивания показаний на нескольких устройствах с точностью до миллисекунды.

Фокус на взаимодействии

Как сценарии манипулирования объектами, так и сценарии взаимодействия человека с человеком.

Задачи из реального мира

Повседневные действия в реалистичных условиях для практического обучения искусственному интеллекту.

Настройка сбора данных

Многокамерная синхронизированная коллекция

Одна носимая камера и две внешние камеры, синхронизированные с помощью технологии QR-кодов с временной меткой для точного выравнивания по всем трем точкам обзора.

Настройка камеры	1 носимое устройство + 2 внешние камеры
Виды	Взгляд эго + взгляды извне
Синхронизация	QR-код с отметкой времени
Тип данных	Набор данных многоракурсного видео
Окружающая среда	Реальные сценарии

Многовидовая структура данных

Система трехкамерной перспективы

Взгляд эго

С точки зрения пользователя
Детали движения руки
процесс взаимодействия объектов
Информация о действиях от первого лица

Экзо Вид

С внешних камер
Движение всего тела
Пространственные отношения
Экологический контекст

Примеры наборов данных

Пример 1: Складывание одежды

Человек складывает одежду в реальных условиях, снято с трех синхронизированных ракурсов.

Носимое устройство от первого лицаФронтальная внешняя камераБоковая внешняя камера

Запечатлено: взаимодействие руки с предметом · процесс складывания · поведение при манипулировании предметом

Взгляд эго

Exo View1

Exo View2

Пример 2: Деятельность по уходу за людьми

Многоракурсная видеозапись действий по уходу за человеком, охватывающая 9 областей тела.

НазадПлечевой суставгрудьЗапястьеРуканожкаГрифРуководительПешком

Захватывает: модели движений человека · процесс взаимодействия тела · пространственную информацию с нескольких ракурсов

Взгляд эго

Exo View1

Exo View2

Пример 3: Выпечка — Приготовление торта

Человек печет торт на кухне, кадры сняты с трех синхронизированных точек зрения.

Носимое устройство от первого лицаФронтальная внешняя камераБоковая внешняя камера

Съемка: Обработка ингредиентов · Замешивание и разливание теста · Глазирование/декорирование · Процесс манипулирования инструментами и объектами · Пространственная информация в нескольких ракурсах

Взгляд эго

Exo View1

Exo View2

Пример 4: Стрижка

Стилист делает стрижку клиенту в салоне красоты, съемка ведется с трех синхронизированных ракурсов.

Носимое устройство от первого лицаФронтальная внешняя камераБоковая внешняя камера

Запечатлели: взаимодействие инструмента и волос · технику стрижки/укладки · пространственную координацию двух человек

Взгляд эго

Exo View1

Exo View2

Пример 5: Красота / Уход за кожей

Косметолог проводит процедуру ухода за кожей лица клиентки, видео снято с трех синхронизированных ракурсов.

Носимое устройство от первого лицаФронтальная внешняя камераБоковая внешняя камера

Съемка: тонкое взаимодействие рук и лица · техника нанесения продукта · детализация лица с разных ракурсов

Взгляд эго

Exo View1

Exo View2

Спецификации набора данных

Тип данных	Набор данных многоракурсного видео
Настройки камеры	1 камера Ego + 2 камеры Exo
Синхронизация	QR-код с отметкой времени
Перспектива	От первого лица + от третьего лица
Окружающая среда	Реальные сценарии
Задач	Манипуляция и взаимодействие
аннотирование	Доступен по запросу

Области применения

Поддержка передовых исследований в области искусственного интеллекта

Обучение человекоподобных роботов Манипуляции с роботами Модели VLA Взаимодействие человека и робота Мультимодальный ИИ Воплощенный интеллект

Заинтересованы в использовании этого набора данных для ваших исследований или разработки продуктов? Свяжитесь с нашей командой.