dit_so101_pick_place_v10_gpuaug
политика управления роботом-манипулятором
2 мин чтения
Модель представляет собой политику имитационного обучения (алгоритм управления роботом по демонстрациям) для выполнения задачи захвата и перемещения предметов. Она построена на базе архитектуры Multi-Task Diffusion Transformer (DiT — диффузионный трансформер с поддержкой текстовых и визуальных подсказок) и обучена в фреймворке LeRobot от Hugging Face. Модель принимает данные о текущем положении шести осей робота и видеопотоки с трёх камер, а на выходе выдаёт команды движения для манипулятора so_follower. Подойдёт разработчикам и энтузиастам робототехники, работающим с платформой SO-101 и библиотекой LeRobot.
Ключевые особенности
- Архитектура Multi-Task DiT: сочетает диффузионную политику с текстовым и визуальным обуславливанием для точной моторики.
- Мультимодальный вход: обрабатывает вектор состояния из 6 координат и изображения разрешением 640×480 с трёх ракурсов (
top,center,wrist). - Обучение на реальных демонстрациях: натренирована на 80 эпизодах (26 147 кадров при 30 FPS) из датасета
so101_pick_place_v10_clean. - Интеграция с LeRobot: готова к прямому запуску и дообучению через стандартные CLI-утилиты
lerobot-rolloutиlerobot-train.
Что можно сделать
- Запустить автономное перекладывание квадратного строительного блока в подходящую миску на роботе
so_follower(SO-101) по текстовой команде на немецком языке. - Использовать чекпоинт как отправную точку или ориентир при обучении собственных политик
multi_task_ditв LeRobot v0.7.1.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--policy.path=HugRalf42/dit_so101_pick_place_v10_gpuaug \
--task="Nimm den quadratischen Baustein und lege ihn in die passende Schüssel" \
--duration=60
Подробнее
Параметры: 0.23B (230 млн).Обучение: 8 180 шагов, batch size 128, оптимизатор Adam (lr 2e-05), LeRobot 0.7.1.
Оценка: результаты замеров на реальном роботе в карточке пока не опубликованы.










Комментарии