Cosmos3-Edge-Policy-DROID Failure-Prevention
LoRA-файнтюн для управления роботами
2 min readupdated
Это дообученная версия модели nvidia/Cosmos3-Edge-Policy-DROID (3.86B параметров), которая предсказывает последовательности движений робота-манипулятора на 32 шага вперёд по видеопотоку 15 fps. Модель адаптирована с помощью LoRA (небольшой надстройки над базовыми весами, уже вшитой в итоговый чекпоинт) для предотвращения ошибок при манипуляции предметами в среде RoboLab. В отличие от оригинальной базы, эта версия обучена на демонстрациях исправления сбоев в шести задачах: сортировке игрушек, консервов, красных предметов, картонных коробок, бутылок и складывании объектов в стопку. Пригодится исследователям и разработчикам в области робототехники, работающим с платформой DROID и симулятором RoboLab.
Ключевые особенности
- Вшитые веса LoRA: адаптер с рангом 32 и alpha 64 уже объединён с базовой моделью, поэтому для запуска не требуется отдельная загрузка через PEFT.
- Фокус на предотвращении ошибок: обучение прошло на 150 успешных демонстрациях (92 009 стартовых позиций) из датасета
cosmos3-edge-failure-prevention-200с исключением задач со сверлом и ложками. - Совместимость с инфраструктурой базы: сохранена оригинальная структура чекпоинта (домен
droid_lerobot), при инференсе используется VAE отWan-AI/Wan.2-TI2V-5B.
Что можно сделать
- Запустить сервер политик в RoboLab: развернуть модель как локальный сервис управления манипулятором для проверки выполнения команд по сортировке и укладке предметов.
- Сравнить поведение на исключённых задачах: протестировать в симуляторе, как исключение двух сценариев из обучающей выборки влияет на точность предсказания движений и генерализацию.
Пример
python -m cosmos_framework.scripts.action_policy_server_robolab \
--checkpoint-path \
--port 8000 --format-prompt-as-json True --guidance-interval 960 1001
Подробнее
Проверка экспорта на отложенных эпизодах: средняя абсолютная ошибка (MAE) предсказания углов суставов составила 0.0826 рад (полная оценка успешности в замкнутом цикле RoboLab ещё не проводилась).Обучение: 2 000 шагов на 2× A100-80GB в точности BF16 заняло 13.2 часа (батч 64, lr 1e-4).
Лицензия: OpenMDW-1.1 (унаследована от базовой модели).










Comments