- Grasping — захват объектов
🖐️ - Articulation — манипуляции с подвижными частями робота
Как это работает:
- Создание Seed-датасета
На первом этапе используется оптимизационный алгоритм для ручного или полуавтоматического создания небольшого, но точного набора демонстраций, называемого *Seed Dataset*.
- Обучение генеративной модели
На основе Seed-датасета обучается DexSimple — простая C-VAE модель (Conditional Variational Autoencoder)
C-VAE - условный вариационный автоэнкодер, тип нейронной сети, используемый для генерации новых данных, похожих на входные, с возможностью управления процессом генерации.. Эта модель способна генерировать новые сцены, учитывая контекст, такой как тип объекта, поза руки и желаемое взаимодействие.
- Масштабирование до 1 миллиарда
С помощью DexSimple создаются миллиарды новых демонстраций. Для обеспечения разнообразия поз и объектов применяется преднамеренное «смешение» данных, что позволяет избежать переобучения на узком распределении.
- Симуляция и проверка
Все сгенерированные демонстрации проходят валидацию в физическом симуляторе ManiSkill/SAPIEN. В финальный набор попадают только успешные взаимодействия.
- Grasping-сцены (1 млн): построены на основе ассетов из Objaverse
- Articulation-сцены: используют объекты из PartNet-Mobility — обширной коллекции объектов с подвижными частями (двери, ящики, рычаги и т.п.)
- Каждая сцена содержит: 3D-модель объекта, положение руки, физику взаимодействия и результат
Почему это важно:
- Ручной сбор миллиарда примеров нереален, поэтому используется генеративный подход.
- Dex1B создает разнообразные и физически валидные примеры.
- Это открывает путь к масштабному обучению роботов с использованием имитационного обучения.