dlsj-molmoact2-ft-8k
файнтюн MolmoAct2 для сортировки кубиков роботом SO-101
2 min readupdated
Модель представляет собой LoRA-адаптацию (небольшую обучаемую надстройку поверх базовых весов) мультимодальной модели действий allenai/MolmoAct2-SO100_101 (5,589 млрд параметров) от пользователя akoniti. Она учит шестиосевой робот-манипулятор SO-101 выполнять трёхэтапную задачу с кубиками Duplo: взять деталь нужного цвета, поднести её к камере для проверки и положить в соответствующую миску. В отличие от базового чекпоинта, здесь дообучены не только LoRA-адаптеры для языковой модели и ViT (визуального трансформера), но и полностью обновлены блок генерации действий (action expert) и проектор изображений. Пригодится разработчикам робототехники, работающим с платформой LeRobot, манипуляторами SO-101 и симулятором Isaac.
Ключевые особенности
- Гибридное обучение: сочетает несмердженные PEFT LoRA-адаптеры (146,6 млн параметров, rank 64) для LLM и ViT с полным обучением action expert и визуального проектора.
- Жёсткая структура команд: работает по трём фиксированным шаблонам промптов на английском языке для захвата, поднесения к камере инспекции и сортировки по цветным мискам.
- Работа с двумя камерами: принимает поток 640×480 с камеры на запястье (wrist) и обрезанный кадр 560×480 с верхней камеры (top), приводя их к разрешению 378×378.
- Предсказание траектории: генерирует чанк из 30 последовательных шагов (6 степеней свободы: 5 суставов в градусах LeRobot и схват 0–100) за 10 шагов flow-matching.
- Готовность к деплою: в репозитории есть манифест для экспорта в OpenVINO INT8+RTC и скрипты запуска на реальном роботе.
Что можно сделать
- Запустить пайплайн сортировки деталей на реальном манипуляторе SO-101 с помощью скриптов
run_loop.shиrun_finetuned.shиз репозитория. - Протестировать поведение робота в цифровом двойнике NVIDIA Isaac через клиент
MolmoAct2Clientс заданными инструкциями. - Сконвертировать чекпоинт в формат OpenVINO INT8 с помощью
deploy/molmoact2/export.pyдля инференса на бортовом компьютере робота.
Пример
client = MolmoAct2Client(
snap=".../step008000.ckpt",
crops={"top": (0, 0, 560, 480)},
instruction="pick up the red brick"
)
Подробнее
Обучение: 8000 из 12000 запланированных шагов (~2,7 эпохи) на 4 GPU в формате bf16-mixed (global batch 32).Датасет: 453 эпизода (409 train / 44 validation, 105 382 кадра с частотой 30 Гц) с калибровкой без смещения суставов.
Параметры LoRA: rank 64, alpha 16, dropout 0.05, fp32; нормализация состояний и действий по квантилям (q01/q99).
Инференс на роботе: горизонт RTC 15, guidance 3, ограничение скорости до 4 градусов за тик (30 Гц).










Comments