SyncWorld mv3 strip384
world model для роботов с трёх камер
2 min readupdated
Это финальный чекпоинт SyncWorld для робототехники: по одному опорному кадру, 16 будущим действиям end-effector и нескольким наблюдённым видео-чанкам модель генерирует следующие 16 кадров манипуляции. Каждый кадр — strip 1536×384 из трёх ячеек 512×384: две камеры третьего лица и камера запястья. Чекпоинт продолжает mvSV2 с update 20000 и отличается методом retrieval: контекст выбирается по позам камер, внешнему виду и обученному эмбеддингу расстояния до якоря. Пригодится исследователям роботов, которым нужен генеративный world model для сцен манипуляций.
Ключевые особенности
- Три камеры в одном strip: 1536×384, две third-person и wrist; есть view dropout и случайный вертикальный кроп.
- In-context retrieval: K=1..8 чанков в том же attention-окне, с обученным эмбеддингом расстояния до якоря.
- Действия — реализованные позы end-effector, не команды: [dx, dy, dz, roll, pitch, yaw, gripper].
- Обучение на PEWM s7 mix: 481 574 записи с тремя камерами, 20 000 апдейтов, 32 стрима на апдейт.
Что можно сделать
- Генерировать 16 будущих кадров по якорю и действиям — для анализа манипуляций.
- Подставлять свои K чанков из записи или библиотеки и смотреть, как retrieval меняет rollout.
- Сравнивать с baseline recent8/mvA3p, который отличается только retrieval.
- Использовать как основу для экспериментов с world model на robocasa, robomimic, RLBench и DROID.
Пример
Вход: один anchor frame, 16 строк поз end-effector и K=4 видео/action-чанка. Выход: следующие 16 кадров в формате strip 1536×384. K выбирается uniform 1..8, а чанки ранжируются по расстоянию до якоря.
Подробнее
Loss на update 20000 — 0.0650 (motion-weighted video flow matching).Обучение: 4 узла × 8 B200, 32 стрима на апдейт, 20 000 апдейтов.
Библиотека retrieval — 50 066 368 чанков из 963 148 записей камер.
Ограничения: full-attention in-context без TTT-памяти; требования к VRAM в карточке не указаны.










Comments