smolvla_insert_v2
политика управления роботом для вставки коннектора
2 мин чтенияобновлено
Компактная VLA-модель (Vision-Language-Action — нейросеть, которая объединяет компьютерное зрение, понимание текстовых команд и генерацию действий для роботов) от автора yugosakaguchi. Она обучена управлять шестиосевым манипулятором xarm6, чтобы выполнять точную задачу: вставлять коннектор в отверстие по текстовой инструкции. Модель дообучена на базе lerobot/smolvla_base (0.45B параметров) с помощью фреймворка LeRobot, поэтому не требует серверных мощностей и подходит для запуска на пользовательском железе. Пригодится разработчикам и исследователям в области робототехники, работающим с манипуляторами xArm.
Ключевые особенности
- Работает с визуальными данными сразу с трёх камер (
front,top,wrist) в разрешении 256×256 и текущим состоянием суставов робота. - Обучена на датасете
yugosakaguchi/xarm6_insert_v2из 100 демонстрационных эпизодов (46 842 кадра, снятых при 30 FPS). - Основана на компактной архитектуре SmolVLA (0.45B параметров), рассчитанной на запуск на потребительском оборудовании.
- На выходе выдаёт вектор из 6 непрерывных действий для управления степенями свободы манипулятора.
Что можно сделать
- Развернуть политику на реальном манипуляторе
xarm6с тремя камерами через утилитуlerobot-rolloutдля автоматизации стыковки разъёмов. - Использовать чекпоинт как отправную точку для дообучения в LeRobot под похожие сборочные операции с мелкими деталями.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=xarm6 \
--robot.port= \
--policy.path=yugosakaguchi/smolvla_insert_v2 \
--task="Insert the connector into the hole." \
--duration=60
Подробнее
Обучение: 20 000 шагов, batch size 32, оптимизатор AdamW (lr 0.0001), LeRobot 0.6.1.Ограничения: в карточке пока не опубликованы метрики успешности на реальном роботе; для работы требуются три камеры, названия которых должны совпадать с ключами наблюдения при обучении.
Лицензия: Apache-2.0.










Комментарии