smolvla_so101_world_traj_ahead_conveyor_dynamic_speedup_v4.1
policy для роборуки
2 мин чтенияобновлено
Модель представляет собой специализированную policy (управляющую программу) для робототехнического манипулятора типа so_follower. Она обучена на фреймворке LeRobot на базе компактной архитектуры SmolVLA и решает задачу перемещения объектов с конвейера — в частности, перекладывание красного кубика в белый чан. На входе модель обрабатывает сигналы состояния и видеопоток с трёх камер (задней, боковой и с запястья робота), выдавая управляющие действия для шести осей манипулятора. Проект ориентирован на практическую робототехнику и исследователей, работающих с доступным железом через библиотеку LeRobot.
Ключевые особенности
- Специализация: настроена под роборуку
so_followerдля динамических задач на конвейере. - Мультимодальность: использует данные с трёх различных точек съёмки камер и текущее состояние приводов.
- Базовая архитектура: базируется на эффективной компактной модели SmolVLA размером 0.45B параметров.
- Готовность к запуску: содержит конфигурацию обучения на датасете из 513 эпизодов и команды для быстрого развёртывания.
Что можно сделать
- Запуск на роботе: применить готовую policy на физическом манипуляторе через командную строку LeRobot для автоматизации сортировки объектов.
- Дообучение: использовать датасет автора и базовую модель для тренировки собственных вариаций навыков захвата объектов.
- Интеграция: протестировать работу визуально-языковой policy в связке с камерами и контроллером движения.
Пример
Запуск готовой policy на реальном роботе с указанием конфигурации камер:
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=L7-Robotics/smolvla_so101_world_traj_ahead_conveyor_dynamic_speedup_v4.1 \
--task="put the red cube in the white bowl" \
--duration=60Подробнее
Лицензия: apache-2.0Базовая модель: lerobot/smolvla_base (0.45B параметров)
Датасет: L7-Robotics/so101_conveyor_dynamic_merge_v4 (513 эпизодов, 193 672 кадра при 20 FPS)
Параметры обучения: 80 000 шагов, батч 16, оптимизатор adamw, learning rate 0.0001










Комментарии