lw_benchhub
политика управления двуруким роботом на базе SmolVLA
2 мин чтенияобновлено
Модель представляет собой VLA-политику (Vision-Language-Action — нейросеть, которая по изображению с камер и текстовой команде напрямую предсказывает действия робота) для управления роботом типа double_piper. Она дообучена автором whosricky на базе компактной модели lerobot/smolvla_base (0.45B параметров) в рамках фреймворка LeRobot. В отличие от базовой версии, этот чекпоинт натренирован выполнять более сотни конкретных бытовых и кухонных манипуляций — от перекладывания продуктов в корзину до включения плиты и работы с микроволновкой. Модель пригодится разработчикам и исследователям в области робототехники, работающим с платформой Double Piper или симуляциями бенчмарка Lightwheel.
Ключевые особенности
- Принимает на вход вектор состояния робота (6 значений) и видеопоток сразу с трёх камер (
left_hand,first_person,right_hand) в разрешении 256×256. - На выходе генерирует вектор из 12 управляющих действий для координации движений манипулятора.
- Обучена на масштабном датасете
LightwheelAI/Lightwheel-Tasks-Double-Piper, включающем 6500 эпизодов и более 6 млн кадров с частотой 50 FPS. - Построена на компактной архитектуре SmolVLA (0.45B параметров), рассчитанной на запуск на потребительском железе.
Что можно сделать
- Запустить инференс на реальном роботе
double_piperдля автоматизации базовых кухонных операций: открытия ящиков, расстановки посуды, уборки книг и продуктов. - Использовать веса как отправную точку для дальнейшего дообучения (fine-tuning) под собственные сценарии манипуляций в библиотеке LeRobot.
- Протестировать генерализацию политик в симуляторе на наборе задач из семейства LIBERO / Lightwheel.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=double_piper \
--robot.port= \
--policy.path=whosricky/lw_benchhub \
--task="L10K3TurnOnTheStoveAndPutTheMokaPotOnIt" \
--duration=60
Подробнее
Обучение: 100 000 шагов, batch size 64, оптимизатор AdamW (lr 0.0001), LeRobot 0.7.0.Ограничения: результаты реальных тестов (Evaluation) в карточке пока не опубликованы.
Лицензия: Apache-2.0.










Комментарии