SmolVLA for four sentences with two sponges on an SO-101 arm
файнтюн робототехнической политики для манипулятора
2 мин чтенияобновлено
Модель представляет собой специализированную политику управления для роборуки SO-101, обученную сортировать красную и синюю губки по левому и правому лоткам в зависимости от текстовой команды. Она создана на базе модели lerobot/smolvla_base (0.45 млрд параметров) с использованием библиотеки LeRobot 0.6.0. Модель обрабатывает визуальные данные с двух камер и текущие положения суставов манипулятора, выдавая управляющие воздействия. Новинка отлично подойдет разработчикам и исследователям, экспериментирующим с робототехникой и визуально-языковыми моделями (VLA) на доступном железе.
Ключевые особенности
- Обучена на 96 телеуправляемых демонстрациях из датасета so101_part2 (по 24 эпизода на каждую из четырёх команд).
- Прошла 46 000 шагов обучения с размером батча 8 на одной видеокарте RTX 3060 (12 ГБ) без аугментации изображений.
- Визуально-языковой бэкбон (backbone — базовая нейросетевая структура для извлечения признаков) во время обучения оставался замороженным.
- Поддерживает инференс (inference — процесс работы обученной модели) с динамической разбивкой на чанки в реальном времени.
Что можно сделать
- Применить в проектах по управлению настольными робоманипуляторами для выполнения инструкций на естественном языке.
- Провести тестирование модели на реальном железе для автоматизации задач сортировки и перемещения объектов.
- Использовать датасет и конфигурацию обучения для кастомизации под новые формулировки команд и другие типы предметов.
Пример
Пример команды для манипулятора: «Put the blue sponge in the left tray.» Модель распознает текст и визуальное положение предметов, после чего направляет руку к нужной губке.
Подробнее
Бенчмарки: 34 успешные попытки из 36 на базовых четырёх предложениях; 11 из 16 для переформулированных фраз, с которыми модель раньше не сталкивалась.Требования к железу: одна видеокарта RTX 3060 (12 ГБ) для обучения.
Входные данные: две камеры (вид сверху и сбоку, 640×480 при 30 fps) и шесть позиций суставов манипулятора.
Особенности: использовался последний чекпоинт обучения.










Комментарии