Skip to content
Robotics

SANA-RWM RoboDojo ARX-X5

политика управления двуруким роботом

2 min readupdated

Модель представляет собой политику управления (policy) для симулятора RoboDojo, предназначенную для двурукого манипулятора ARX-X5. Она дообучена на базе двухпоточной world model (модели мира, предсказывающей динамику среды) SANA-RWM на 5 млрд параметров и использует латентные представления LTX-2.3 VAE. На вход модель получает текстовые инструкции и видеопоток с трёх камер (головной и двух на запястьях), а на выходе генерирует чанки по 32 абсолютных действия для рабочих органов робота (end-effector) с частотой 25 fps. В репозитории опубликованы EMA-веса (экспоненциальное скользящее среднее с коэффициентом 0.999) на шаге 20 000, что пригодится исследователям робототехники для воспроизведения и оценки манипуляционных задач в симуляции.

Ключевые особенности

  • Многоракурсное зрение: обрабатывает изображения в T-компоновке одновременно с головной камеры (384×480 px) и двух камер на запястьях (192×256 px) через LTX-2.3 VAE.
  • Двухпоточная архитектура obs-block: построена на базе 5B-модели SANA-RWM с горизонтом softmax sink 7 и кэшированием чистого префикса (prefix_cache) при инференсе.
  • Полный контракт деплоя: помимо консолидированных fp32 EMA-весов (pytorch_model_fsdp.bin), в архив включены файлы нормализации действий и контракт episode_chain_contract.json с порядком камер, слотов и инструкций.

Что можно сделать

  • Запустить в симуляторе RoboDojo: развернуть политику на сервере инференса (с выполнением первых 24 строк из 32-строчного чанка действий) для тестирования двуруких манипуляций на 42 задачах.
  • Исследовать world models в робототехнике: изучить совместную генерацию видео и действий (Video CFG 6, Action CFG 1 за 10 шагов сэмплирования) на основе приложенных конфигов обучения и метаданных.

Пример

Сценарий инференса из карточки: модель принимает инструкции и кадры с трёх камер (голова + левое и правое запястья), предзаполняет чистый префикс эпизода через prefix_cache и за 10 шагов сэмплирования (Video CFG 6, Action CFG 1) выдаёт чанк из 32 абсолютных координат end-effector на 25 fps, из которых сервер политики исполняет первые 24.

Подробнее Бенчмарки (42 задачи × 3 сида в RoboDojo): средний процент успеха (Avg SR) — 25.71 ±1.05%, средний балл (Avg Score) — 32.41 ±0.78.
По категориям (SR): Memory — 50.78 ±1.23%, Precision — 27.25 ±3.14%, Long-Horizon — 26.08 ±1.55%, Generalization — 19.94 ±0.57% (35.89% на стандартных сценах и 4.00% на рандомизированных), Open — 4.50 ±0.35%.
Обучение: SFT на 3 500 демонстрационных эпизодах (чанки L = 4..49 по 32 действия), чекпоинт epoch 47 / step 20 000.
Ограничения: локальные пути в config.yaml и контракте заменены на плейсхолдеры; качество сильно проседает при рандомизации раскладки сцены.
Discuss Telegram 0 17

Will it run?

Runs in BF16

Fits without quantisation.

  • BF16weights 17 GB · ready files19 GB
  • FP8 / INT8recommendedweights 8.3 GB9.7 GB
  • 4-bitweights 4.7 GB5.7 GB

Tip: go 8-bit.FP8 / INT8 is within about a percent of full precision in quality, takes half the memory and runs faster on RTX 40/50 and H100. Full precision only pays off for fine-tuning.

What to get for this model

Massed ComputeOpen Massed Compute

Your own GPU: FP8 / INT8 — from RTX 3080 · BF16 — from RTX 4090

Massed Compute hourly prices, November 2026. The discounted price applies with the coupon at checkout.

Estimate: weights plus working memory. Long videos, high resolutions and long contexts need more.

Run it on Massed Compute

The script downloads the model to the rented machine. How to run it is in the model card.

  1. 1. Rent a machine with a fitting GPU

    Open Massed Compute
  2. 2. Paste the script into the machine's terminal

    Connect over SSH (the Massed Compute panel shows the command) or open a terminal on the machine's desktop.

    HF_TOKEN / CIVITAI_TOKENThe script starts with token lines: paste yours between the quotes. The Hugging Face token is for gated models, the Civitai one for Civitai models.

    # zekaili/sana_rwm_robodojo_arx_x5_robot_base_eef_ema_step20000
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download zekaili/sana_rwm_robodojo_arx_x5_robot_base_eef_ema_step20000 --local-dir ~/models/sana_rwm_robodojo_arx_x5_robot_base_eef_ema_step20000
    # The model is in ~/models. How to run it is in the model card (link above).
  3. 3. Use it

    The model is in ~/models. How to run it is in the model card (link above).

Stop the machine in the panel when you are done: it bills by the minute while it runs.

How to speed it up

Picked for this model type. Choose your hardware above to see what fits you exactly.

  • FlashAttention 44.0.0b40from November 18, 2026new release

    fastest exact attention on B200

    Kernels for Blackwell (beta). Exact attention without quantisation — fine for everything, LLMs included.

    How to enable: pip install flash-attn-4; vLLM and SGLang pick it up themselves.

    Earlier generations (2)
    • FlashAttention 3 — The Hopper (H100/H200) version with FP8.
    • FlashAttention 2 — The standard for RTX 30/40/50 and A100: exact attention without the memory cost of long contexts.
  • torch.compile2.15.0from October 28, 2026new release

    10–30% for free

    Compiles the model for your GPU. Slower first run, faster afterwards.

    How to enable: model = torch.compile(model); in ComfyUI the TorchCompileModel node.

Model family

New posts about versions of sana_rwm_robodojo_arx_x5_robot_base_eef_ema_step20000 (quants, finetunes, LoRAs) will show up under the bell.

No known relatives of this model yet. All derivatives on Hugging Face

About the model

zekaili/sana_rwm_robodojo_arx_x5_robot_base_eef_ema_step20000
Author
zekaili
Category
Robotics
Released
Posted

On NeyroLearn

Hugging Face

170

Ask AI about this model

Answered by Gemini 4 · the chat is kept only in this tab

Comments