pi05-so101-cvpr2027-realworld-general-fullft-30k-step30000
управление роборукой SO-101
2 мин чтенияобновлено
Полный файнтюн VLA-модели (Vision-Language-Action — нейросеть, связывающая зрение, текстовые команды и моторику) на базе lerobot/pi05_base размером 3.62B параметров для манипулятора SO-101. На вход модель принимает картинки с двух RGB-камер и 6 текущих координат суставов/захвата, а на выходе генерирует последовательность из 50 целевых положений приводов для выполнения текстовой инструкции. Чекпоинт обучен на 120 реальных демонстрациях для трёх базовых задач: перекладывание предметов, толкание кубика и постановка кубика на кубик. В репозиторий сразу включены веса в FP32, токенизатор, процессоры нормализации и код загрузки, поэтому база отдельно не требуется.
Ключевые особенности
- Полное дообучение (full fine-tuning) всех параметров VLM (визуально-языковой модели) и модуля генерации действий от
lerobot/pi05_base. - Работает с двумя видеопотоками (
topиfrontв разрешении 224×224) и 6 степенями свободы манипулятора. - Предсказывает траекторию длиной 50 шагов (горизонт выполнения 10 шагов) за 10 шагов денойзинга.
- Полностью автономный пакет: внутри лежат веса FP32, токенизатор, настройки нормализации и скрипт
experiment_code/load_export.py.
Что можно сделать
- Запустить на реальном манипуляторе SO-101 (при совпадении калибровки и единиц измерения) для отработки перекладывания куклы в коробку, толкания кубика в чёрную зону и установки деревянного кубика на кубик Рубика.
- Использовать чекпоинт как готовую отправную точку в фреймворке LeRobot для дальнейшего дообучения на собственных эпизодах или сравнения с промежуточным шагом
step15000.
Пример
Модель принимает текстовую инструкцию, изображения с верхней и фронтальной камер и 6 значений углов/схвата, возвращая траекторию из 50 шагов. Примеры команд из обучающего набора:
— Pick up the doll and place it in the box.
— Push the cube onto the black zone.
— Pick up the wooden cube and place it on the Rubik's cube.
Подробнее
Данные обучения: 120 эпизодов (37 435 кадров) по 40 демо на каждую из 3 задач; 30 демо отложены для проверки и в обучении не участвовали.Параметры обучения: 30 000 шагов (косинусное расписание lr с 2.5e-5 до 2.5e-6, warmup 1000, batch 8, AdamW, bf16 autocast, сохранение весов в FP32).
Ограничения: метрики успешности на реальном роботе автором не заявлены; состояние оптимизатора не включено; вход
front маппится в слот left_wrist_0_rgb.









Комментарии