SemWAM-RealRobot-PackPhone-v1
финальный чекпоинт world-action модели для задачи Pack Phone
1 мин чтенияобновлено
RainyBot выложил финальный чекпоинт SemWAM для задачи Pack Phone — шаг оптимизатора 6240. SemWAM совместно предсказывает действия робота и будущие RGB, depth и семантические представления по текущим камерам, языковой инструкции и состоянию робота. Это исследовательский чекпоинт, а не готовый драйвер робота.
Ключевые особенности
- Три RGB-вида: основная камера и две камеры на запястьях.
- Состояние и действия по 16 значений: левая/правая xyz, кватернион xyzw и гриппер.
- Действия — относительные SE(3)-преобразования от текущего состояния, горизонт 32; нормализацию надо снимать сохранённой статистикой.
- Архитектура rgb_dep_sem: depth-голова и семантический компрессор на 48 каналов; depth на инференсе оценивается только по текущему RGB.
- Чекпоинт v2; optimizer/RNG state не входят.
Пример
from pathlib import Path
from huggingface_hub import snapshot_download
release_dir = Path(snapshot_download(
repo_id="RainyBot/SemWAM-RealRobot-PackPhone-v1",
revision="main",
))
checkpoint = release_dir / "checkpoints/weights/step_006240.pt"
Подробнее
Бенчмарков и заявленной успешности closed-loop в карточке нет.Веса: 14 649 561 065 байт; SHA256 742b98085f8b53478c712c30b7c9c5f1a3f31ddf4826654d37294df75b74cf83.
Требования к VRAM/железу не указаны; нужен SemWAM checkout и внешние frozen-энкодеры/кодеки, которых нет в пакете.
Готового драйвера робота нет; RoboTwin-адаптер несовместим с этим интерфейсом.
Optimizer/RNG state не включены.










Комментарии