MolmoAct2 x HIT
VLA-чекпоинт для pick-and-place
1 min read
HIT-Robotics выпустила ur5e_molmoact2_pp_yellow — специализированный vision-language-action чекпоинт на базе allenai/MolmoAct2. Модель на 5.59B параметров дообучена под конкретную робоманипуляцию: найти жёлтый блок среди трёх цветных и положить или бросить его в синий контейнер.
Ключевые особенности
- Работает по визуальным наблюдениям и языковой инструкции.
- Специализация: жёлтый блок на фиксированной позиции → синий контейнер.
- В чекпоинте есть веса VLM и continuous action expert, а также
norm_stats.jsonс метаданными нормализации. - Опубликован датасет
MolmoAct2-Yellow_Stone_Dataset. - Готового кода инференса в карточке нет — для запуска авторы отсылают к другим чекпоинтам MolmoAct2.
Пример
Сценарий из карточки: в рабочей зоне стоят три блока разных цветов, включая жёлтый. Робот получает инструкцию найти жёлтый объект и переместить его в синюю ёмкость. Прямого примера запуска в карточке нет.
Подробнее
Параметров: 5.59B. Бенчмарки и требования к VRAM в карточке не указаны.Чекпоинт предназначен для дальнейшего дообучения под целевого робота или бенчмарк.
Для готового инференса авторы советуют
MolmoAct2-LIBERO, MolmoAct2-DROID, MolmoAct2-BimanualYAM или MolmoAct2-SO100_101.Перед запуском на реальном роботе нужно валидировать действия и соблюдать ограничения по скорости, рабочей зоне, крутящему моменту и контактной силе.










Comments