Введение
Большинство дискуссий о воплощенном интеллекте сосредоточены на модели — архитектуре, сети политик, механизме моделирования. Гораздо меньше внимания уделяется тому, что на самом деле определяет, будет ли все это работать: данным, на основе которых модель обучается.
Это та часть, которую мы строим.
За последние 9 лет мы работали над конвейерами сбора данных, которые фиксируют реальные движения людей, манипулирование объектами и выполнение задач, и преобразуют эти данные в структурированные наборы данных, на которых команды, занимающиеся робототехникой и воплощенным искусственным интеллектом, могут напрямую обучать своих специалистов. В этой статье подробно рассказывается о том, как работает этот конвейер и почему детали имеют большее значение, чем может показаться на первый взгляд.
Почему большинство существующих наборов данных не соответствуют требованиям
Базовые модели развиваются быстрее, чем объем данных из физического мира, необходимых для их обоснования. Большинство общедоступных наборов данных о движении и взаимодействии имеют три общих ограничения: это короткие видеоролики, снятые с одной фиксированной точки зрения, без возможности восстановить, что именно пытался сделать человек; они фиксируют движение руки, но не объясняют причину — отсутствует структура задачи, контекст взаимодействия с объектом, ничего, на основе чего можно было бы определить намерение; и они записываются один раз, в одной среде, и плохо переносятся на робота, работающего в другом месте.
Это не проблема объема данных. Это проблема структуры данных. У вас может быть миллион часов видео, и все равно не будет ничего, на основе чего робот мог бы научиться какому-либо навыку.
Как мы Захват движенияДве системы, семь сценариев
Мы используем две системы захвата движений параллельно, поскольку они решают разные задачи.
Оптическая система захвата Vicon используется, когда точность важнее мобильности — в задачах контролируемой среды, где требуется отслеживание скелета с точностью до долей миллиметра и покадровая точность траекторий. В частности, она охватывает три сценария:
- Сценарий 1: Задачи на точную манипуляцию. Сборочные, манипуляционные и инструментальные движения, требующие точных углов сочленений пальцев и времени контакта, без права на ошибку.
- Сценарий 2: Эталонное движение для проверки результатов моделирования. Для калибровки систем цифрового двойника и моделирования физических процессов необходим набор данных о движении на уровне эталонных значений.
- Сценарий 3: Биомеханический захват. Анализ движений в спорте и анализ движений в реабилитации требуют точных траекторий скелета.
Инерциальная система захвата движений Xsens используется, когда задача должна выходить за пределы лаборатории — запись движений всего тела в неконтролируемых условиях реального мира, где человек естественно перемещается в пространстве, а не позирует для камеры. В частности, она охватывает четыре сценария:
- Сценарий 4: Запись повседневной активности в реальных домах или офисах. Люди выполняют обычные задачи в естественной среде обитания, не ограниченные физическими размерами студии.
- Сценарий 5: Совместная работа или взаимодействие нескольких человек. Задачи, такие как комплектация заказов на складе или помощь в торговом зале, где одновременно присутствует несколько участников.
- Сценарий 6: Запись движений в большом пространстве или на открытом воздухе. Полевые работы на открытом воздухе или перемещения на большие расстояния по цеху — пространства, слишком большие для зоны покрытия оптической системы.
- Сценарий 7: Многосайтовый, распределенный сбор данных о добровольцах. Когда необходимо воспроизвести один и тот же протокол сбора данных в разных городах и среди разных групп добровольцев, портативность и быстрая реализация Xsens делают его лучшим выбором для масштабирования.
Ни одна из систем сама по себе не предоставляет пригодного для использования набора данных. Оптическая съемка без учета реальных вариативностей дает чистые, но узкие данные; инерциальная съемка без точности дает широкие данные без достоверности. Выбор системы — и то, какой из описанных выше сценариев действительно необходим для проекта — зависит от требований последующей задачи обучения, что обычно обсуждается нами с клиентом еще до начала съемки.
От необработанных данных о движении к тому, чему модель действительно может научиться.
Исходные траектории движения скелета не являются обучающими данными. Работа, которая делает их пригодными для использования, заключается в построении структурирующего слоя. Движение сегментируется на временные последовательности действий, привязывается к объектам взаимодействия и организуется на уровне задачи, а не на уровне кадра — таким образом, модель учится не просто «изменять углы суставов», а «как выглядит процесс взятия чашки и наливания, включая случаи неудач и движения восстановления».
Именно здесь и тратится большая часть нашего инженерного времени. Сбор данных — это видимая часть конвейера; выравнивание, очистка и структурирование — это часть, определяющая, будет ли набор данных пригоден для использования через шесть месяцев командой, которая не присутствовала при его записи.
Как запечатлеть обе стороны события: Эгоцентрические и экзоцентрические взгляды
Робот, обучающийся имитации человеческого поведения, должен понимать две вещи одновременно: что человек намеревался сделать и как выглядела обстановка вокруг него в момент выполнения действия. Ни один ракурс камеры не позволяет получить и то, и другое — и это один из наиболее недооцененных недостатков в наборах данных для воплощенного ИИ.
Эгоцентрическая (от первого лица) съемка ведется с помощью камеры, закрепленной на голове или груди, которая движется вместе с актером. Она записывает намерения и пошаговое принятие решений: на что человек смотрит непосредственно перед тем, как потянуться за чем-либо, как его рука приближается к объекту, микрокоррекции, которые он вносит в процессе выполнения задачи, когда что-то идет не по плану. Именно эта точка зрения показывает, почему произошло движение, а не просто то, что оно произошло. Это также точка зрения, наиболее близкая к тому, что в конечном итоге увидит собственная бортовая камера робота — поэтому, в частности, для обучения на основе имитации эгоцентрические данные часто лучше соответствуют условиям эксплуатации.
Компромисс заключается в том, что эгоцентричные кадры по своей природе шумные. Камера движется вместе с головой, поэтому постоянно присутствует размытие в движении, кадрирование обрезает именно тот объект, который вы больше всего хотите увидеть, и нет фиксированной точки отсчета для понимания того, где что-либо находится в абсолютном пространстве. Само по себе это говорит о том, что человек хотел сделать, но не о том, где он стоял, когда это делал.
Экзоцентрическая (съемка от третьего лица) съемка ведется с помощью стационарных или установленных на оборудовании камер, размещенных по периметру сцены. Она фиксирует пространственный и экологический контекст, недоступный для эгоцентрической съемки: абсолютное положение каждого объекта относительно любого другого объекта, взаимодействие нескольких участников в одной сцене друг с другом и вокруг друг друга, полную геометрию рабочего пространства. Если задача включает в себя более одного человека или объект, который выходит из поля зрения актера, то информация, полученная с помощью экзоцентрической съемки, является единственным источником этой информации.
Компромисс заключается в обратном: экзоцентрическая съемка показывает все, что происходило в комнате, но ничего не говорит о том, на что был сосредоточен актер или почему он принял те или иные решения. Два человека, выполняющие одно и то же физическое движение, могут иметь совершенно разные намерения, и камера от третьего лица сама по себе не может определить, какие именно.
Почему слияние точек зрения важнее, чем любая из них по отдельности. Ни одна из перспектив сама по себе не является достаточной, и большинство существующих наборов данных выбирают одну из них и мирятся с существующим разрывом. Наборы данных, основанные только на эгоцентрической модели, создают модели, которые могут имитировать траектории движения рук, но испытывают трудности с пространственной привязкой — они не знают, где находятся. Наборы данных, основанные только на экзоцентрической модели, создают модели с хорошим пониманием сцены, но слабой семантикой задачи — они могут описывать происходящее, но не могут предсказать, что будет дальше или почему.
Для объединения двух систем требуется решить более сложную задачу, чем просто запись обеих: каждый кадр из эгоцентрического потока должен быть выровнен во времени и пространстве относительно соответствующих кадров с каждой экзоцентрической камеры, несмотря на то, что две системы имеют совершенно разную геометрию, частоту кадров и опорные координаты. Даже малейшая ошибка в выравнивании может привести к обучению на данных, где сигнал «намерения» и сигнал «контекста» на самом деле не соответствуют одному и тому же моменту действия — что хуже, чем полное отсутствие объединения, поскольку модель обучается ложной корреляции вместо отсутствия корреляции.
На этом этапе выполняется большая часть нашей работы по калибровке и синхронизации. При правильном выполнении в результате получается набор данных, в котором модель может одновременно изучать обе части одного и того же действия — что человек хотел сделать и как выглядел окружающий мир во время выполнения действия, — что ближе к тому, как роботу действительно придется рассуждать после его развертывания.
Как выглядит весь конвейер обработки данных
Проект от начала до конца проходит следующие этапы: определение требований к захвату данных в соответствии с целями обучения клиента, что определяет, будем ли мы использовать Vicon, Xsens или оба варианта; многокамерная эгоцентрическая/экзоцентрическая видеозапись, синхронизированная с захватом движений; выравнивание датчиков и временная синхронизация; очистка, нормализация и структурирование данных в последовательности на уровне задач; и предоставление данных в форматах, готовых для непосредственного использования в обучающих конвейерах.
Каждый этап масштабируется — мы разрабатываем протоколы сбора данных, которые могут работать на нескольких площадках и с различными группами волонтеров без потери согласованности, что особенно важно после завершения одного этапа проверки концепции. Документация по соответствию требованиям включается в этот процесс, а не добавляется позже: происхождение данных, записи о согласии волонтеров и требования к демографическому балансу определяются одновременно с протоколом сбора данных с самого начала, поэтому результат готов к соответствию таким нормативным актам, как Закон ЕС об искусственном интеллекте, а не адаптируется под них после завершения сбора данных.
Где используются эти данные
Один и тот же конвейер обработки данных поддерживает несколько различных вариантов использования, хотя базовые требования к данным различаются больше, чем можно ожидать: в робототехнике он поддерживает имитационное обучение для человекоподобных роботов и модели выполнения физических задач, обученные на реальных демонстрациях человека, а не на синтетических движениях; в исследованиях в области воплощенного ИИ системам моделирования поведения и прогнозирования действий необходимы эталонные движения человека в качестве базового уровня; в моделировании и XR системам цифровой анимации человека и системам взаимодействия в VR/AR необходимы данные о движении, достаточно реалистичные, чтобы не нарушать эффект погружения; а в промышленных приложениях понимание человеческой активности в розничной торговле и логистике обычно означает моделирование рабочего процесса, а не одной задачи.
Почему это сложнее, чем кажется
Честно говоря, оборудование для захвата движений доступно практически каждому. Разница не в самом оборудовании — системы Vicon и Xsens являются отраслевым стандартом, а не запатентованной технологией. Дело во всём, что происходит после захвата: синхронизация между системами, которые изначально не были предназначены для взаимодействия друг с другом, структурирование исходных траекторий в нечто, имеющее семантическое значение на уровне задачи, и выполнение этого процесса в объёме и с сохранением стабильности на протяжении сотен сессий и на нескольких физических площадках.
Это та часть, которая не указывается в технической спецификации продукта, и именно она определяет, пригоден ли набор данных для использования.
Что отличает наш конвейер от других?
Многое из того, что мы описали до сих пор — Vicon, Xsens, эгоцентрическое/экзоцентрическое слияние — это технологии, которые любая команда с достаточными ресурсами могла бы собрать. Сложнее собрать операционный уровень, и именно в нем заключается большая часть нашего реального конкурентного преимущества.
Соблюдение нормативных требований является частью процесса, а не отдельным этапом. Большинство групп по сбору данных передают необработанные видеоматериалы, оставляя вопросы происхождения, согласия и демографической документации на усмотрение клиента. Мы же определяем требования к соблюдению нормативных требований одновременно с определением протокола сбора данных, поэтому записи о согласии добровольцев, происхождение данных и демографическая балансировка учитываются с самого начала планирования, а не перестраиваются под давлением сроков после запроса регулирующего органа или клиента.
Вопросы конфиденциальности и редактирования решаются до передачи данных, а не после получения жалобы. Любая информация, позволяющая идентифицировать клиента или идентифицировать личность, содержащаяся в сопроводительной документации, систематически проверяется и удаляется в рамках стандартного процесса передачи данных, а не исправляется в экстренном порядке только после того, как кто-то сообщит о проблеме. Это имеет большее значение, чем кажется на первый взгляд — многие технически безупречные наборы данных становятся непригодными для клиента из-за небрежного оформления документации.
Мы координируем работу на разных площадках и с учетом различных демографических групп, не теряя при этом согласованности. Наборы данных, созданные с помощью искусственного интеллекта, полезны только в том случае, если они обобщаемы, а это значит, что протоколы сбора данных должны работать в разных регионах, с разными типами устройств и группами добровольцев — а не только в одной контролируемой студии. Разработка протокола, который остается согласованным при работе в пяти разных местах с пятью разными командами, — это не только техническая, но и логистическая проблема, и мы построили вокруг нее повторяющиеся процессы, вместо того чтобы решать ее заново на каждом проекте.
Захват и структурирование данных осуществляются под одной крышей. Поскольку одна и та же команда занимается захватом движений, многоракурсным слиянием и последующей структуризацией данных, отсутствует разрыв в передаче информации, из-за которого теряется контекст о том, почему была записана та или иная последовательность, между теми, кто её записывал, и теми, кто её размечал. Именно эта преемственность часто определяет, будет ли набор данных по-прежнему пригоден для использования командой, которая не присутствовала при первоначальной съёмке.
Что будет дальше?
Воплощенный интеллект переходит из исследовательской ниши в сферу, вокруг которой команды разработчиков робототехники и симуляторов активно создают продукты — а это значит, что узкое место смещается с вопроса «можем ли мы построить модель» на вопрос «есть ли у нас достаточно качественные данные для ее обучения». Именно для решения этой проблемы мы и создаем инфраструктуру.
Если вы работаете над проектом в области робототехники, моделирования или воплощенного искусственного интеллекта и хотите обсудить, как будет выглядеть конвейер сбора данных для вашего конкретного случая, свяжитесь с нами — мы с удовольствием проведем вас через весь процесс определения объема работ.