Робототехникаxuxie1031
MolmoAct2-YAM-StationeryBench-Sim
файнтюн для двуручных задач
1 мин чтенияобновлено
Пилотный релиз xuxie1031: файнтюн allenai/MolmoAct2-BimanualYAM на две сложные двуручные задачи StationeryBench. Модель на 5,44 млрд параметров поднимает успех в физической симуляции с 0% до 36% и 76%.
🎯 Ключевые особенности
- 🎯 В симуляции: eraser_from_box — 36% (18/50), ruler_handover — 76% (38/50); базовая модель — 0/50 в обеих.
- 🧩 База — allenai/MolmoAct2-BimanualYAM; файлы, архитектура, processor и norm_stats.json те же.
- 🧬 13 раундов: сначала только action expert, затем vision LoRA + LLM LoRA (r=64) + action expert.
- 📀 Синтетические демонстрации в симуляции + публичные реальные данные YAM; датасеты двух задач выпущены.
- ⚙ Важно: действия нужно денормализовать без клиппинга в [-1, 1]; стандартный сервер клиппит и ухудшает модель.
💻 Пример
git clone https://github.com/xuxie1031-droid/stationerybench-sim && cd stationerybench-sim
source scripts/env.sh && scripts/download.sh finetuned
scripts/repro_check.sh $GYRE_WORK/models/MolmoAct2-YAM-StationeryBench-SimПодробнее
Бенчмарк: 18/50 (36%, 95% Wilson 24–50%) и 38/50 (76%, 63–86%) на sealed seeds; база — 0/50.Обучение: ~263 L40S GPU-hours, 13 раундов; Ai2 сообщает ~2300 H100-hours для адаптации MolmoAct2 к YAM.
Ограничения: только симуляция, не тестировалось на реальном роботе; две задачи, по одной фиксированной сцене.
Лицензия Apache-2.0; результаты — на неофициальной реплике, не на роботе Robocurve.
Комментарии