smolvla-keys101-22keys
VLA-модель для игры на клавишах
2 мин чтения
Компактная робототехническая модель типа VLA (Vision-Language-Action — нейросеть, которая принимает изображение и текстовую команду, а на выходе выдаёт действия для моторов), обученная управлять роботом-манипулятором so_follower для нажатия 22 музыкальных нот от C3 до A#4. В основе лежит lerobot/smolvla_base (0.45B параметров), дообученная в фреймворке LeRobot на 755 эпизодах с тремя камерами. Подойдёт энтузиастам робототехники и владельцам манипуляторов SO-101, которые хотят запускать политики управления на обычном потребительском железе.
Ключевые особенности
- Понимает текстовые команды на нажатие конкретных 22 нот (например,
press D4,press G#3,press A#4). - Принимает на вход вектор состояния робота из 6 значений и потоки с трёх камер разрешением 256×256 пикселей.
- Компактный размер 0.45B параметров позволяет запускать модель на потребительском оборудовании.
- Обучена на датасете
PawelLach/so101-keys101-22keys(755 эпизодов, 39 790 кадров при 30 FPS).
Что можно сделать
- Запустить управление роботом
so_followerчерез CLI-утилитуlerobot-rolloutдля нажатия заданных нот по текстовой команде. - Использовать чекпоинт или конфигурацию обучения в LeRobot для экспериментов с имитационным обучением на клавишных инструментах.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--policy.path=PawelLach/smolvla-keys101-22keys \
--task="press D4" \
--duration=60
Подробнее
Базовая модель: lerobot/smolvla_base (0.45B параметров), лицензия Apache-2.0.Обучение: 6000 шагов, batch size 64, оптимизатор AdamW, learning rate 0.0001, LeRobot 0.7.1.
Ограничения: результаты оценки (evaluation) на реальном роботе автором пока не опубликованы.










Комментарии