twanghcmut/molmoact2-so101-left-arm-task3
модель управления роборукой
2 мин чтенияобновлено
Эта модель представляет собой полностью дообученную версию (fine-tuned) архитектуры MolmoAct2 для управления левой рукой робота SO101. Чекпоинт объединяет три различные задачи манипуляции с объектами, а нужное поведение выбирается с помощью текстовой инструкции (language instruction). Модель создана с использованием библиотеки LeRobot и нацелена на практическое применение в сфере робототехники и автономных манипуляторов. Она будет полезна исследователям и разработчикам, работающим с роботизированным железом и алгоритмами VLA (Vision-Language-Action).
Ключевые особенности
- Обучена на трех объединенных задачах манипуляции с кубиками и ящиками.
- Использует политику
molmoact2из экосистемы LeRobot. - Выдает абсолютные целевые положения суставов (absolute joint targets) чанками по 30 шагов.
- Принимает на вход изображения с двух камер (основная верхняя и запястная).
Что можно сделать
- Запустить управление левой рукой робота SO101 в симуляторе или на реальном железе.
- Протестировать выполнение задач по перекладыванию кубиков и открыванию ящиков с помощью текстовых промптов.
- Интегрировать модель в пайплайны управления через библиотеки LeRobot или VLA-RT.
Пример
from lerobot.policies.molmoact2.modeling_molmoact2 import MolmoAct2Policy
from lerobot.policies.factory import make_pre_post_processors
from lerobot.configs.policies import PreTrainedConfig
repo = "twanghcmut/molmoact2-so101-left-arm-task3"
policy = MolmoAct2Policy.from_pretrained(repo).to("cuda").eval()
pre, post = make_pre_post_processors(PreTrainedConfig.from_pretrained(repo), pretrained_path=repo)
batch = {
"observation.images.top": top, # (1, 3, 360, 640) float in [0, 1]
"observation.images.wrist": wrist, # (1, 3, 480, 640) float in [0, 1]
"observation.state": state, # (1, 6) float32, raw joint units
"task": "Take the red cube out of the steel pot and place it into the orange hollow cube.",
}
actions = post(policy.predict_action_chunk(pre(batch))) # (1, 30, 6) absolute joint targets
Подробнее
• Базовая модель: allenai/MolmoAct2-SO100_101 (полный fine-tune, эмбеддинги заморожены)• Обучение: 24 000 шагов, батч 32, 1x H100 80GB (потребовалось 23.7 ч)
• Ограничения: 159 эпизодов использованы полностью для обучения (нет отложенного сплита), задача со специфическим открыванием ящика имеет более высокую ошибку
• Данные: 30 fps, размерность состояния и действий 6 (shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll + gripper)










Комментарии