dobei/smolvla_so101_pickplace_v2
файнтюн для робототехники
1 мин чтения
Эта модель представляет собой специализированную политику управления (policy) для роборуки типа so_follower, обученную на задачу захвата и перемещения предметов (pick and place). В основе лежит компактная модель SmolVLA (эффективная визуально-языково-действенная архитектура), работающая через библиотеку LeRobot. Набор обучен на демонстрациях с тремя камерами наблюдения и системным состоянием манипулятора. Решение пригодится исследователям и инженерам, занимающимся робототехникой на доступном железе.
Ключевые особенности
- База SmolVLA: компактная и эффективная визуально-языково-действенная модель с открытым исходным кодом.
- Множественные камеры: поддержка трех основных визуальных потоков и дополнительных данных состояния.
- Интеграция с LeRobot: полная совместимость с экосистемой Hugging Face для управления роботами.
- Специфичная задача: обучено на демонстрациях захвата и перемещения предметов.
Что можно сделать
- Запустить на роборуке: применить готовую политику для автоматизации процесса pick and place на совместимом железе.
- Дообучить модель: использовать собранный датасет и базовую модель для кастомизации под собственные задачи манипулятора.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=dobei/smolvla_so101_pickplace_v2 \
--task="pick and place" \
--duration=60Подробнее
Лицензия: apache-2.0Датасет: dobe/so101_red_cube_blue_box_2_20261117_161737 (25 эпизодов, 11286 кадров при 30 FPS)
Параметры обучения: 10 шагов, batch size 16, оптимизатор adamw, learning rate 0.0001










Комментарии