dreamrl-1n8g
чекпоинт политики для роборуки
2 min read
Это inference-checkpoint для робототехники от Emily-Hui-123: 8000 шагов, полный набор PyTorch DCP-шардов, замороженный фреймворк, VAE, текстовый процессор и точка входа для инференса. Языки — китайский и английский. Модель возвращает блок действий float32[32,14]: первые 7 значений — заданная вручную поза левой руки, последние 7 — предсказание правой.
Ключевые особенности
- 8000-шаговый checkpoint для инференса: нужны
model/.metadataи 8 файлов.distcp. - Выход
actions—float32[32,14], action chunk на 32 кадра при 30 FPS; правая рука остаётся в исходном масштабе, гриппер не бинаризуется. - Левая рука не имеет action loss supervision: первые 7 измерений всегда равны
left_hold, сырые предсказания левой руки исполнять нельзя. - На входе:
statefloat32[14]и три RGB-кадраuint8[480,640,3]—cam_high,cam_left_wrist,cam_right_wrist; layout, порядок цветов и единицы должны совпадать с данными сбора. - Есть Python API, offline-запуск по JSON и локальный сервер на
127.0.0.1:8000; аппаратный контроллер в репозиторий не входит.
Пример
from infer import Policy
# left_hold: шесть суставов + значение гриппера, проверено системой управления
policy = Policy(left_hold=checked_left_hold7)
actions = policy.predict(observation) # float32[32,14]
Подробнее
Валидация сравнивает выход правой руки при независимой загрузке с замороженным offline-эталоном и проверяет фиксацию левой руки; это не тест реального замкнутого цикла по складыванию стаканчиков.Оптимизатор, scheduler и приватные training-конфиги в публичный репозиторий не входят. GPU-контейнер не упакован; нативные CUDA-расширения должны соответствовать Torch/CUDA.
В репозитории нет данных наблюдений — для offline NPZ нужны четыре ключа:
state, cam_high, cam_left_wrist, cam_right_wrist.









Comments