SemWAM-RoboTwin TwoStage v1.30
Stage2 Joint15k: чекпоинт робототехнической world-action модели
1 min read
Опубликован чекпоинт RainyBot/SemWAM-RoboTwin-TwoStage-v1.30-Stage2-Joint15k для задачи robotics. Это world-action модель (WAM) на PyTorch, построенная вокруг Wan-AI/Wan2.2-TI2V-5B: видео-DiT на 30 слоёв, отдельный action-DiT и вспомогательные depth/semantic-потоки. Сохранён optimizer step 15000.
Ключевые особенности
- Архитектура
rgb_dep_sem: RGB, depth и semantic-представления; action conditioning черезpredicted_depth_head_semantic. - Видео-DiT: 30 слоёв, hidden 3072, 24 головы, patch size 1×2×2; MoE на 4 эксперта с shared expert в слоях 21/24/27, routing
per_sampleиdense_masked. - Action-DiT: 30 слоёв, hidden 1024, 24 головы, 14-мерные действия и proprio.
- Semantic-поток на DINOv3 ViT-B/16 (768 признаков) со SVAE-сжатием до 48 каналов; depth — через VDA/UniDepth v2 и
dvae. - Данные: clean-сцены RoboTwin, три камеры (high + left/right wrist), 33 кадра, видео 384×320, 14D state/action.
Пример
Сценарий из карточки: на вход подаются три вида RoboTwin — cam_high и два wrist-вида, 14-мерное состояние и окно на 33 кадра. Модель должна выдать 14-мерные действия; глубина и семантика используются как вспомогательные модальности. Готового кода запуска в карточке нет — это checkpoint для собственного пайплайна.
Подробнее
Сохранённый optimizer step: 15000, снимок от 2026-11-06.Данные:
flexpi_robotwin, clean-сцены, 33 кадра, видео 384×320, action/state 14D.Бенчмарков и требований к VRAM в карточке нет; это узкоспециализированный чекпоинт для RoboTwin.










Comments