agos_sim2real_geoaux_depthdrop
Diffusion Policy для вставки штекера под углом
2 min readupdated
agos_sim2real_geoaux_depthdrop — это робототехническая политика на базе Diffusion Policy (диффузионной модели генерации действий), созданная автором yinongh для точной вставки наклонённого штекера в разъём. Модель построена на архитектуре depth_wrench_cnn_unet_agos_geoaux и рассчитана на перенос из симуляции на реальное железо (sim2real) с роботом Franka, параллельным захватом и боковой камерой на запястье. На вход она получает карту глубины, 6-мерные показания силомоментного датчика и данные облака точек 3D-AGOS, а на выходе выдаёт последовательность из 10 шагов перемещения (action chunk) в 9-мерном пространстве. Особенность модели — принудительное обнуление глубины (depth dropout) вблизи разъёма, чтобы контактная фаза сборки опиралась на тактильные и геометрические данные, а вспомогательная голова GeoAux предсказывает относительную позу детали. Пригодится исследователям и инженерам в области манипуляции роботов и задачи Peg-in-Hole.
Ключевые особенности
- Мультимодальный вход: объединяет глубину с камеры ZED2i (360×640), 6-мерный вектор усилий на запястье и представление облака точек 3D-AGOS.
- Depth Dropout на финише: карта глубины обнуляется на расстоянии 30 мм от целевой позы (линейно до 33 мм), заставляя модель полагаться на силомоментный отклик и 3D-геометрию при контакте.
- Вспомогательная задача GeoAux: дополнительная ветка сети предсказывает относительное положение штекера (с весом 0.1) для более точного позиционирования.
- Генерация траектории: предсказывает сразу 10 будущих шагов в системе координат рабочего органа (EEF) с шагом трансляции 0.3 мм и 6D-представлением поворота.
Что можно сделать
- Симуляция сборки в Isaac Gym: протестировать чекпоинты
last.ptиbest_fixed_noise.ptна задачах точной стыковки деталей с зазором 0.2–0.5 мм. - Исследования в области Sim2Real: использовать веса и конфигурацию
resolved_config.yamlиз репозиторияInsertion-RLдля экспериментов с тактильно-визуальным управлением роботом Franka. - Сравнение стратегий обучения: изучить влияние обнуления глубины и вспомогательной геометрической головы на обобщение для незнакомых форм деталей.
Пример
В репозитории представлены готовые файлы весов (checkpoints/last.pt и checkpoints/best_fixed_noise.pt), статистики нормализации normalization_stats.json и конфиг resolved_config.yaml. Запуск обучения и оценки выполняется через скрипт scripts/train_agos_sim2real_geoaux_depthdrop.sh из кодовой базы Insertion-RL (коммит 5571262c) в среде Isaac Gym на 1000 шагов с горизонтом исполнения 5 шагов.
Подробнее
Обучение: 22 440 траекторий на 200 процедурных деталях (зазор 0.2 мм), 145 000 шагов на 8× A100 (AdamW, EMA).Успешность в Isaac Gym (closed-loop): 67.8% (122/180) на знакомых формах и 71.7% (129/180) на новых формах.
При увеличенном зазоре 0.5 мм на тех же 10 формах точность достигает 73.6% (265/360).
Ограничения: большинство неудач происходит из-за заклинивания в отверстии при отклонении захвата около 3.8° от оси разъёма.










Comments