smolvla-so101-sim-wide50-perturbed-6k-lr1e4
VLA-политика для робота-манипулятора
2 min readupdated
Компактная модель класса VLA (Vision-Language-Action — нейросеть, которая принимает изображение и текстовую команду и выдаёт действия для робота), обученная с помощью фреймворка lerobot от автора alimerido. Политика предназначена для управления роботом-манипулятором типа so_follower и решает конкретную задачу: захватить красный кубик и положить его в синюю коробку («Grab the red cube, place it in the blue box»). В основе лежит архитектура SmolVLA объёмом 0.45B параметров, рассчитанная на запуск на потребительском железе без огромных вычислительных затрат. Подойдёт разработчикам и энтузиастам робототехники, которые тестируют имитационное обучение на базе LeRobot.
Ключевые особенности
- Компактный размер: 0.45B параметров, архитектура SmolVLA оптимизирована для потребительских видеокарт.
- Мультимодальный вход: обрабатывает текущее состояние робота
observation.state(вектор размерности 6) и кадры 256×256 с трёх камер (включая камерыtopиwrist). - Готовое управление: на выходе модель напрямую генерирует вектор действий
actionразмерности 6 для приводов манипулятора. - Симуляционный датасет: обучена на наборе данных
so101-sim-wide50-perturbed-v1(50 эпизодов, 27 244 кадра при 30 FPS).
Что можно сделать
- Запустить готовую политику на совместимом манипуляторе
so_followerс подключёнными OpenCV-камерами для отработки перекладывания объектов. - Использовать чекпоинт как отправную точку или референс при настройке собственного пайплайна обучения SmolVLA в
lerobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--policy.path=alimerido/smolvla-so101-sim-wide50-perturbed-6k-lr1e4 \
--task="Grab the red cube, place it in the blue box" \
--duration=60
Подробнее
Обучение: 6000 шагов, batch size 64, оптимизатор AdamW, learning rate 0.0001, seed 1000.Версия библиотеки: LeRobot 0.6.2.
Оценка: метрики успешности на реальном роботе в карточке пока не приведены.










Comments