MolmoAct2 x HIT

HIT-Robotics выпустила ur5e_molmoact2_pp_yellow — специализированный vision-language-action чекпоинт на базе allenai/MolmoAct2. Модель на 5.59B параметров дообучена под конкретную робоманипуляцию: найти жёлтый блок среди трёх цветных и положить или бросить его в синий контейнер.

😎 Ключевые особенности

• 🗣 Работает по визуальным наблюдениям и языковой инструкции.
• 😎 Специализация: жёлтый блок на фиксированной позиции → синий контейнер.
• ⌨ В чекпоинте есть веса VLM и continuous action expert, а также norm_stats.json с метаданными нормализации.
• 📝 Опубликован датасет MolmoAct2-Yellow_Stone_Dataset.
• 🤔 Готового кода инференса в карточке нет — для запуска авторы отсылают к другим чекпоинтам MolmoAct2.

🗣 Пример

Сценарий из карточки: в рабочей зоне стоят три блока разных цветов, включая жёлтый. Робот получает инструкцию найти жёлтый объект и переместить его в синюю ёмкость. Прямого примера запуска в карточке нет.

Подробнее

Параметров: 5.59B. Бенчмарки и требования к VRAM в карточке не указаны.
Чекпоинт предназначен для дальнейшего дообучения под целевого робота или бенчмарк.
Для готового инференса авторы советуют MolmoAct2-LIBERO, MolmoAct2-DROID, MolmoAct2-BimanualYAM или MolmoAct2-SO100_101.
Перед запуском на реальном роботе нужно валидировать действия и соблюдать ограничения по скорости, рабочей зоне, крутящему моменту и контактной силе.