SmolVLA Multi-Object Pick-and-Place
модель для управления роборукой
2 мин чтенияобновлено
Этот чекпоинт представляет собой результат дообучения (файнтюна) набора весов lerobot/smolvla_base на датасете из 200 эпизодов для задачи захвата и перемещения объектов (например, «подними коричневый кубик и положи его в чёрную коробку»). Модель предсказывает координаты шести суставов для роборуки-манипулятора в автономном режиме без необходимости использования ведущего рычага. Она создана для исследователей и разработчиков, работающих с фреймворком LeRobot и железом вроде SO-101.
Ключевые особенности
- Нативная модель LeRobot: использует архитектуру SmolVLA (размером 0.45 млрд параметров) для автономного управления роборукой по визуальным данным.
- Работа с двумя камерами: задействует вид сверху (overhead) и камеру на запястье (gripper) для точного позиционирования.
- Обучение на NVIDIA H100: модель прошла 20 000 шагов обучения со смешанной точностью BF16.
- Нормализованные позиции: использует относительные координаты суставов в диапазоне около [-100, 100] вместо градусов.
Что можно сделать
- Автономный запуск роборуки: подключить совместимый манипулятор (например, SO-101) и запустить автономное выполнение задачи захвата предметов.
- Настройка видеонаблюдения: подключить две камеры с разрешением 640x480 и сопоставить их потоки с входами модели.
- Тестирование инференса: провести автономный тестовый запуск скрипта rollout без записи новых датасетов.
Пример
Пример команды для запуска автономного тестового прогона модели на роборуке:
lerobot-rollout \
--strategy.type=base \
--inference.type=sync \
--policy.path=Daankrol/smolvla-multiobj-lerobot-20k \
--policy.device=cuda \
--policy.load_vlm_weights=false \
--robot.type=so101_follower \
--robot.port="$FOLLOWER_PORT" \
--robot.use_degrees=false \
--task="pick up the brown cube and put it in the black box"Подробнее
Шаги обучения: 20 000Размер батча: 64
Финальная тренировочная потеря (loss): 0.034
Финальная потеря на оценке (evaluation loss): 0.4978
Требования: Python 3.12, LeRobot 0.6.0, CUDA-совместимая видеокарта NVIDIA










Комментарии