ACT политика для роборуки SO-101
захват и перемещение кубика
2 мин чтения
Модель реализует политику ACT (Action Chunking with Transformers, алгоритм управления роботами) на базе библиотеки LeRobot для роборуки SO-101. Она обучена брать зелёный кубик с фиксированной позиции на столе и перекладывать его в коробку, учитывая сценарии, когда в коробке уже находятся другие кубики. Модель принимает на вход видео с двух камер (сверху и с запястья) вместе с текущим состоянием суставов, а на выходе выдает последовательность целевых положений для 6 артикуляций робота.
Ключевые особенности
- Обучение для SO-101: модель создана для управления конкретной моделью манипулятора через фреймворк LeRobot.
- Мультимодальный ввод: использует данные с двух камер (640×480 при 30 fps) и параметры 6 суставов.
- Дообученные сценарии: тренировка на демонстрациях с кубиками, уже находящимися внутри целевой коробки.
- Интеграция с железом: запускается стандартными средствами утилиты rollout для реальных робототехнических тестов.
Что можно сделать
- Запустить на роборуке: применить политику для автоматизации захвата объектов на совместимом железе SO-101.
- Протестировать в симуляции: проверить воспроизведение записанных траекторий движения манипулятора.
- Интегрировать в комплекс: использовать совместно с внешними детекторами цвета для реализации условных сценариев сортировки.
Пример
lerobot-rollout --strategy.type=base --policy.path=MaxPrain/act_pick_place_green_v3_40000 --device=mps \
--robot.type=so101_follower --robot.port= --robot.id= --robot.max_relative_target=10 \
--robot.cameras="{ top: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30} }" \
--task="pick the green cube and place it in the box" --fps=30 --duration=12Подробнее
Использован фреймворк LeRobot 0.7.0 и датасет MaxPrain/pick_place_green_v3 (30 эпизодов).Обучение заняло 40 000 шагов через Hugging Face Jobs (a10g-small).
Важно: модель воспроизводит фиксированную траекторию по координатам, цвет напрямую не распознает.










Комментарии