SmolVLA DLO-Lab 4-task
одна политика для четырёх задач с верёвкой
2 мин чтенияобновлено
Это мультизадачная робот-политика на базе lerobot/smolvla_base на 450M параметров, дообученная для манипуляций с деформируемыми линейными объектами (верёвкой). Она решает четыре задачи DLO-Lab: скручивание, разделение, развязывание и обмотку вокруг стоек. На вход модель получает три камеры, 16-мерное состояние и название задачи, а на выходе выдаёт 12-мерное изменение положения end-effector. Файнтюн сделан для курсового проекта CMU на 400 эпизодах — по 100 на каждую задачу. Пригодится тем, кто работает с LeRobot и хочет оценить или дообучить готовую мультизадачную политику для верёвки.
Ключевые особенности
- Один чекпоинт покрывает четыре задачи: coiling, separation, unknotting и wiring_post.
- На 20k шагов — 15/15 успешных роллаутов на каждую задачу при фиксированном старте верёвки.
- Обучен action expert на 100M из 450M параметров, vision encoder заморожен.
- Политика с чанком 50 действий и 10 flow steps; данные — 400 эпизодов, 40k кадров, 3 камеры 240×384.
- В репозитории есть чекпоинты 5k/10k/15k/20k, логи обучения и eval-видео.
Что можно сделать
- Запустить политику в LeRobot и сравнить её роллауты с базовой SmolVLA на своих сценариях.
- Взять чекпоинт как отправную точку для мультизадачной манипуляции верёвкой.
- Оценить, как модель переносится на другие раскладки, если прогнать eval со случайными стартами.
Пример
from lerobot.policies.smolvla.modeling_smolvla import SmolVLAPolicy
from lerobot.policies.factory import make_pre_post_processors
path = "rchu233/smolvla_dlolab_4task_b64_20k"
policy = SmolVLAPolicy.from_pretrained(path).to("cuda").eval()
pre, post = make_pre_post_processors(policy.config, pretrained_path=path)
action = post(policy.select_action(pre(batch))) # 12-D end-effector delta
Подробнее
Бенчмарк: 15 роллаутов на задачу; 20k — 15/15 во всех четырёх задачах, среднее 100%; 10k — 95% (12/15 на wiring-post).Ограничение: старт верёвки фиксирован, роллауты отличаются только flow-matching шумом; оценка со случайными стартами не проводилась.
Железо: 1× H100 80GB, 1.82 ч обучения, LeRobot 0.7.0, PyTorch 2.15.
Сравнение с таблицей статьи не прямое: другие демо и другая метрика успеха.










Комментарии