smolvla-so101-piano-flow
модель для управления роботом-пианистом
2 мин чтенияобновлено
Эта модель представляет собой компактную систему vision-language-action (мультимодальная модель для работы с видео, текстом и физическими действиями), обученную через библиотеку LeRobot на базе lerobot/smolvla_base. Модель создана для робота типа so_follower и управляет его физическими движениями на основе данных с трех камер и состояния суставов. На практике она умеет распознавать и нажимать конкретные клавиши музыкального инструмента по заданным нотам. Полезно исследователям в области робототехники и разработчикам, работающим с физическим железом на базе LeRobot.
Ключевые особенности
- Компактная архитектура SmolVLA для работы на потребительском железе.
- Интеграция данных с трех камер (front, ears) для ориентации в пространстве.
- Обучение на датасете из 300 эпизодов с задачами по игре на клавишах пианино.
- Полная поддержка запуска и дообучения через инструменты экосистемы LeRobot.
Что можно сделать
- Запустить политику управления на реальном роботе-манипуляторе so_follower для игры на клавишах.
- Дообучить модель на собственных датасетах движений с помощью утилит LeRobot.
- Визуализировать собранный датасет обучения через официальные спейсы проекта.
Пример
Запуск готовой политики управления роботом для нажатия нужной клавиши:
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=PawelLach/train_2026-11-17_22-11-36 \
--task="play re, the second key" \
--duration=60Подробнее
Базовая модель: lerobot/smolvla_base (0.45 млрд параметров)Лицензия: apache-2.0
Обучение: 10 000 шагов, batch size 64, оптимизатор adamw, LR 0.0001
Датасет: 300 эпизодов, 25 308 кадров при 30 FPS










Комментарии