longwam-yam-conveyor
файнтюн для роборуки на движущейся ленте
1 мин чтенияобновлено
Это специализированный чекпоинт, обученный на базе Long-WAM-YAM для управления двуручным роботом YAM в симуляторе Isaac Lab. Модель решает задачу захвата красного кубика с движущейся конвейерной ленты со скоростью 4–7 см/с и перемещения его в синий контейнер. В репозитории представлен обученный экшен-эксперт размером 1.02B параметров, в то время как видео-эксперт остается замороженным. Такой подход значительно снижает требования к ресурсам при адаптации политики управления под конкретные физические задачи.
Ключевые особенности
- Обучение на 200 демонстрациях с рандомизацией скорости ленты и освещения
- Легковесный дельта-вес (около 2 ГБ в формате bf16)
- Мультимодальный вход с камер сверху и с запястий робота
- Эффективное обучение на двух GPU RTX PRO 6000 за 3 часа 20 минут
Что можно сделать
- Объединить дельта-веса с базовой моделью Long-WAM-YAM с помощью скрипта слияния
- Проверить политику управления в симуляторе YAMLab
- Интегрировать модель в проекты робототехники на базе Isaac Sim
Пример
hf download Efficient-Large-Model/Long-WAM-YAM --revision e104e72dab1991a166e81e2941f7539e4edb8d68 --local-dir base
hf download kabilanKB/longwam-yam-conveyor checkpoints/step_000250/action_step_000250.pt --local-dir .
python eval/thor/merge_action_delta.py base checkpoints/step_000250/action_step_000250.pt yam_conveyor_ft_250
Подробнее
Базовая модель: Efficient-Large-Model/Long-WAM-YAMПараметры: 1.02 B (обучаемый эксперт)
Оборудование: 2x RTX PRO 6000 (96 GB)
Длительность обучения: 1,216 шагов










Комментарии