SyncWorld-mv3-strip384-recent8-s7pose
предсказание видео с трёх камер для роботов
2 min readupdated
Финальный чекпоинт (шаг 20 000) модели мира из проекта SyncWorld-dev, обученной для задач робототехники. Модель получает стартовый кадр, историю недавних переходов из той же записи (до 8 чанков по 16 шагов) и последовательность из 16 будущих действий манипулятора, а на выходе генерирует следующие 16 видеокадров сразу для трёх ракурсов. В отличие от соседней ветки с извлечением похожих эпизодов из базы (retrieval), эта версия использует только контекст текущей записи с полным механизмом внимания (full-attention in-context). Пригодится исследователям в области робототехники и обучения с подкреплением для симуляции среды и планирования движений манипулятора.
Ключевые особенности
- Трёхкамерный формат strip384: каждый кадр представляет собой склейку 1536×384 из трёх изображений 512×384 — двух камер от третьего лица и одной камеры на запястье робота.
- Управление через реальные позы: действия задаются как относительные смещения и повороты схвата (dx, dy, dz в сантиметрах, углы Эйлера roll/pitch/yaw в градусах и состояние гриппера) между соседними кадрами, а не абстрактные команды.
- Архитектура без внешней памяти: модель опирается на 1–8 предшествующих 16-шаговых отрезков текущей записи без TTT-памяти (Test-Time Training) и поиска по внешним библиотекам.
- Обучение на крупном миксе датасетов: тренировка прошла на выборке PEWM s7 из 359 577 трёхкамерных записей, включая RoboCasa, Robomimic, RLBench и DROID.
Что можно сделать
- Визуальная симуляция траекторий: проверять, как изменится сцена с трёх ракурсов при выполнении заданной последовательности движений схвата робота.
- Сравнение подходов к контексту: использовать чекпоинт как базовую линию (baseline) для оценки моделей с извлечением эпизодов из памяти (например, ветки mvSV3p) или моделей на базе текстовых/высокоуровневых команд.
Пример
На вход подаётся контекст из K (от 1 до 8) предшествующих 16-шаговых фрагментов текущей записи, опорный кадр размером 1536×384 и матрица из 16 будущих действий вида [dx, dy, dz, roll, pitch, yaw, gripper_open]. На выходе модель с помощью video flow-matching (потокового согласования для генерации видео) предсказывает следующие 16 кадров синхронно для обеих обзорных камер и камеры на запястье.
Подробнее
Обучение: 20 000 обновлений на 32 GPU H100 (4 узла по 8 карт), точность вычислений bf16, оптимизатор AdamW (lr 5e-5).Метрика train@2/loss (motion-weighted video flow-matching loss): снизилась с 0.0719 на шаге 1000 до 0.0656 на финальном шаге 20 000.
Ограничения: при обучении применялось случайное отключение камер (10% для одной камеры и 5% для двух), а веса чекпоинта в папке model/ сохранены в формате DCP в bf16.










Comments