ДругоеYuyang-z
SANA-RWM
world-action политика для RoboDojo
1 мин чтенияобновлено
SANA-RWM — world-action policy для трёх реальных роботов RoboDojo от Yuyang-z. Это только инференс-пакет: готовые чекпоинты, минимальный код запуска и self-test, без обучения и пайплайна данных. Подходит для XPolicyLab и управления двурукими ARX-X5, Piper и Piper-X.
🧩 Ключевые особенности
- 🦾 Три готовых чекпоинта под реальных роботов: ARX-X5, Piper и Piper-X; по шесть задач на каждого.
- ⚙ Управление через XPolicyLab: policy-каталог SANA_RWM, policy server и стандартный env client.
- 💭 Политика хранит memory эпизода: после каждого действия нужно отправить новое наблюдение, а перед каждым решением кодируются кадры тиков 4–32.
- 🧊 Инференс в bf16: достаточно GPU Ampere или новее и 24 ГБ VRAM; на H200 около 2 с на решение из 32 действий.
- 🎯 Есть self-test без робота и XPolicyLab, чтобы сверить выходы с эталоном и замерить скорость и VRAM.
💡 Пример
python selftest.py --robot piper_x --checkpoint checkpoints/piper_x_s8kПодробнее
Загрузка около 54 ГБ; веса одного чекпоинта — 17,9 ГБ в fp32.Нужны Linux, Python 3.10, GPU с compute capability ≥ 8.0, C-компилятор для Triton и желательно flash-attn 2.8.3.
На H200: 9,6 GiB VRAM в начале эпизода, до 15,9 GiB при 80 чанках; первое решение около 6 с.
Ограничения: только инференс, максимум 80 чанков, сервер слушает 127.0.0.1; без flash-attn выходы немного отличаются от эталона.
Комментарии