openarm-desk-pick-smolvla
политика захвата предметов для робота OpenArm
2 min readupdated
Модель учит роботизированный манипулятор openarm_v2 брать со стола конкретные предметы (яблоко или консервную банку) по текстовой команде и изображению с камер. Она основана на компактной VLA-архитектуре (Vision-Language-Action — модель, связывающая зрение, текст и действия робота) lerobot/smolvla_base размером 0.45B параметров от автора xXFiEsTaDeAmOnXx. В отличие от базовой модели, эта версия дообучена на 200 эпизодах реальных демонстраций в фреймворке LeRobot и рассчитана на запуск на обычном пользовательском железе. Пригодится разработчикам и энтузиастам робототехники, работающим с платформой OpenArm.
Ключевые особенности
- Компактный размер 0.45B параметров позволяет запускать модель на потребительском оборудовании без дорогих серверных кластеров.
- Принимает состояние робота (вектор из 6 значений) и потоки с камер (
frontиwrist), выдавая 7-мерный вектор действий. - Обучена на датасете
openarm_desk_pick_knownиз 200 эпизодов (18 188 кадров при 30 FPS) для задач «pick up the apple» и «pick up the potted meat can». - Полностью интегрирована в библиотеку LeRobot 0.7.1 и запускается стандартной CLI-командой
lerobot-rollout.
Что можно сделать
- Запустить готовую политику на реальном манипуляторе
openarm_v2с двумя камерами для автоматического захвата яблок и банок со стола. - Использовать веса как отправную точку для дообучения под свои настольные объекты и новые текстовые инструкции в LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=openarm_v2 \
--robot.port= \
--policy.path=xXFiEsTaDeAmOnXx/openarm-desk-pick-smolvla \
--task="pick up the apple" \
--duration=60
Подробнее
Обучение: 15 000 шагов, batch size 64, оптимизатор AdamW (lr 0.0001), LeRobot 0.7.1.Входы: состояние
(6,), визуальные каналы (3, 256, 256) и (3, 480, 640); выход: действие (7,).Ограничения: результаты оценки (evaluation) на реальном роботе в карточке пока не опубликованы.
Лицензия: Apache-2.0.










Comments