SmolVLA for SO-101 Pouring
файнтюн для управления двуручным роботом
1 мин чтенияобновлено
Модель представляет собой дообученную версию базовой архитектуры lerobot/smolvla_base (размером 0.45 млрд параметров) для управления двуручным роботом SO-101. Файнтюн выполнялся на демонстрациях процесса переливания жидкостей и сыпучих материалов. Модель получает данные с трёх камер и состояния 12 суставов, выдавая управляющие действия для обеих рук робота. Проект предназначен для исследователей и разработчиков в области робототехники, использующих фреймворк lerobot.
Ключевые особенности
- Базируется на
lerobot/smolvla_baseс размером 0.45B параметров. - Использует три камеры высокого разрешения (вид сверху, левое и правое запястья).
- Поддерживает двуручное управление (12-мерные состояние и действия).
- Обучена на 136 демонстрационных эпизодах (176 654 кадра).
Что можно сделать
- Применить модель для автоматизации задач переливания жидкостей и порошков на робототехнической установке SO-101.
- Использовать текстовые промпты для выбора конкретного действия робота (например, запуск наливания воды или порошков).
- Интегрировать чекпоинт в собственные эксперименты с библиотекой
lerobotдля тестирования двуручных политик управления.
Пример
Используйте следующие строковые промпты для запуска задач:
- Pour water into the cup. (правая рука)
- Pour green tea latte powder from the green-lidded container into the cup. (левая рука)
Подробнее
Обучение: 40 000 шагов с размером батча 24.Потери на отложенной выборке снизились с 0.101 до 0.0457.
Метрики отражают имитационные потери, а не реальный процент успешных выполнений на роботе.










Комментарии