smolvla_lw_double_piper
нейросеть для управления двуруким роботом
2 min read
smolvla_lw_double_piper — это обученная политика управления (алгоритм действий для робототехники) от автора whosricky, созданная на базе компактной VLA-модели (Vision-Language-Action — нейросеть, объединяющая зрение, язык и действия) lerobot/smolvla_base размером 0.45B параметров. Модель принимает видеопоток с трёх камер и данные о текущем состоянии манипуляторов, а на выходе выдаёт вектор управляющих команд для выполнения бытовых задач. В отличие от базовой версии, она дообучена на специализированном датасете из 6500 эпизодов для двурукой платформы double_piper в рамках библиотеки LeRobot. Разработка пригодится робототехникам и исследователям, которые работают с манипуляторами Piper и тестируют автономное выполнение бытовых сценариев на локальном железе.
Ключевые особенности
- Мультимодальный ввод: анализирует изображения с трёх камер (
left_hand,first_person,right_hand) в разрешении 256×256 и вектор состояния робота из 6 параметров. - Управление двумя руками: генерирует 12-мерный вектор действий для синхронной работы двух манипуляторов
double_piper. - Массивный обучающий набор: дообучена на датасете
LightwheelAI/Lightwheel-Tasks-Double-Piper, содержащем 6500 эпизодов и более 6 миллионов кадров с частотой 50 FPS. - Компактный размер: база SmolVLA весит всего 0.45B параметров, что позволяет запускать инференс на потребительском оборудовании.
Что можно сделать
- Автоматизация бытовых манипуляций: запустить на реальном или симулируемом роботе
double_piperвыполнение более сотни кухонных и настольных задач — от включения плиты и постановки гейзерной кофеварки до перекладывания продуктов в корзину и расстановки книг по отсекам. - База для дальнейшего дообучения: использовать веса как отправную точку в LeRobot (версии 0.7.0) для адаптации под собственные сценарии на аналогичной конфигурации камер и манипуляторов.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=double_piper \
--robot.port= \
--robot.cameras="{ left_hand: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, right_hand: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=whosricky/smolvla_lw_double_piper \
--task="L10K3TurnOnTheStoveAndPutTheMokaPotOnIt"Подробнее
Обучение: 100 000 шагов, batch size 64, оптимизатор AdamW, learning rate 0.0001, seed 1000.Ограничения: в карточке пока не опубликованы результаты замеров успешности (Evaluation) на реальном роботе.
Лицензия: Apache 2.0, совместимо с LeRobot 0.7.0.










Comments