rr-worldmodel-v0-policies
политики управления роботом UR5 на базе Cosmos3-Edge и Fast-WAM
2 min read
Репозиторий содержит девять обученных чекпоинтов (весов нейросетей) для управления роботом-манипулятором UR5 на датасете rr-worldmodel_v0. Модели получают на вход изображения с трёх камер (обзорной 620×620 и двух на запястьях 480×480), текущее состояние робота и текстовую инструкцию задачи, а на выходе предсказывают последовательность абсолютных координат и ориентации захвата (TCP targets) с частотой 15 Гц. В набор вошли два семейства мировых моделей (world models — нейросетей, моделирующих физику и динамику среды для планирования действий): компактные варианты на базе Cosmos3-Edge (по 6,3 ГБ) и более крупные Fast-WAM (по 12 ГБ). Релиз пригодится исследователям в области робототехники для тестирования и сравнения open-loop и real-robot политик на задачах манипуляции предметами.
Ключевые особенности
- Две архитектуры на выбор: семь чекпоинтов семейства Cosmos3-Edge (precision bf16, вес 6,3 ГБ) и два чекпоинта Fast-WAM (обучение во float8 через torchao с экспортом в bf16, вес 12 ГБ).
- Разный горизонт планирования: стандартные версии Cosmos3-Edge генерируют чанк из 16 шагов действия, вариант
obs5_chunk32анализирует 5 последних кадров и выдаёт 32 шага, а Fast-WAM предсказывает сразу 32 шага. - Обучение на узком и смешанном наборах: модели с суффиксом
localобучены на 5 базовых задачах манипуляции, а версииmix— на 22 задачах (где 50% занимают локальные данные). - Готовая инфраструктура для запуска: в репозитории есть скрипт выборочной загрузки весов, предвычисленные T5-эмбеддинги текстовых команд и файлы
inference.pyдля проверки в режиме open-loop.
Что можно сделать
- Сравнить поведение мировых моделей на реальном UR5: протестировать разницу между стохастической генерацией Cosmos3-Edge и 32-шаговыми прогнозами Fast-WAM при перекладывании предметов или наливании воды.
- Провести валидацию в режиме open-loop: запустить встроенные скрипты
inference.py --episodeна эпизодах из датасета rr-worldmodel_v0, чтобы оценить точность траекторий до запуска на железе. - Изучить влияние истории наблюдений: сравнить базовый чекпоинт
cosmos3_edge_local_it2800с версиейobs5_chunk32, подающей на вход 5 кадров вместо одного.
Пример
pip install -U huggingface_hub
python download_ckpt.py --list
python download_ckpt.py --model cosmos3_edge_local_obs5_chunk32 --out /data/ckptsПодробнее
Ошибка позиционирования (open-loop, среднее по чанку на 3-м эпизоде): для Fast-WAM составляет 0,4–1,8 мм, для Cosmos3-Edge — 2,4–12,1 мм в зависимости от задачи и числа итераций.Формат входа: RGB uint8 с камер third (620×620), wrist1 и wrist2 (480×480), вектор
observation.state и эмбеддинг инструкции.Формат выхода: 7D-вектор
[x, y, z, rx, ry, rz, gripper] на частоте 15 Гц.Ограничение: приведённые в карточке ошибки измерены на тренировочных демонстрациях (fit to training demos) и не отражают обобщающую способность — модели нужно сравнивать непосредственно на роботе.










Comments