Screener2/act_Final_ComboRealSim
ACT-политика для манипулятора so_follower
2 min readupdated
Модель представляет собой политику управления роботом, обученную методом имитационного обучения ACT (Action Chunking with Transformers — алгоритм, который предсказывает сразу короткие последовательности действий вместо одиночных шагов). Она создана автором Screener2 с использованием фреймворка LeRobot 0.5.2 и насчитывает около 50 млн параметров (0.05B). Политика принимает текущее состояние манипулятора и изображение с верхней камеры, а на выходе генерирует вектор из 6 управляющих действий для робота типа so_follower. Разработка пригодится энтузиастам робототехники и исследователям, работающим с платформой LeRobot и совместимыми манипуляторами.
Ключевые особенности
- Архитектура ACT учится на данных телеуправления и генерирует сразу серию последовательных шагов для плавного выполнения задачи.
- Работает с двумя каналами входных данных: вектором состояния
observation.stateразмером(6,)и RGB-кадром с камерыoverheadразрешением 480×640 пикселей. - Обучена на датасете
Screener2/Final_ComboRealSim, содержащем 30 эпизодов и 14 918 кадров с частотой 30 FPS для задачи"0". - Распространяется под открытой лицензией Apache 2.0, что позволяет свободно использовать и модифицировать модель.
Что можно сделать
- Запустить политику напрямую на совместимом роботе-манипуляторе
so_followerс верхней камерой для автономного выполнения целевой задачи. - Использовать модель как готовый ориентир при сравнении собственных политик, обученных в среде LeRobot на комбинированных (симуляционных и реальных) данных.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ overhead: {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=Screener2/act_Final_ComboRealSim \
--task="0" \
--duration=60
Подробнее
Обучение: 100 000 шагов, batch size 8, оптимизатор AdamW, learning rate 1e-05, seed 1000.Ограничения: результаты оценки (evaluation) на реальном роботе в карточке пока не опубликованы.
Параметры: 0.05B, выходной вектор
action имеет размерность (6,).









Comments