SyncWorld
три камеры, команды и 16 будущих кадров
1 min readupdated
Это финальный чекпоинт SyncWorld от yyuncong для роботизированного видео-предсказания. Модель работает с кадрами-полосами 1536×384 из трёх камер и генерирует следующие 16 кадров по якорному кадру и будущим командам действий. Размер в параметрах не указан; архитектура — full-attention in_context без TTT-памяти.
Ключевые особенности
- Каждый кадр — полоса 1536×384 из трёх ячеек 512×384: две third-person камеры и wrist-камера.
- На вход подают якорный кадр и его 16 будущих действий; перед ним — до 8 чанков по 16 переходов как clean conditioning.
- Действия — нативные команды роботов: [dx, dy, dz в см, roll, pitch, yaw, gripper open].
- Обучение шло на смеси PEWM s7: robocasa, robomimic, RLBench, DROID и симуляционные counterfactual-роллауты.
Пример
Сценарий из карточки: берут якорный кадр и 16 будущих команд, добавляют до 8 предыдущих 16-переходных чанков и получают следующие 16 кадров. Retrieval и distance-to-anchor embedding не используются.
Подробнее
Финальный train loss — 0.0848 на апдейте 20 000; авторы отмечают, что он не сравним с прошлыми раундами.Обучение: 4 узла × 8 H100, 32 потока за апдейт, 20 000 апдейтов, чекпоинт каждые 1000.
Ограничения: нет retrieval и TTT-памяти; это финальный weights-only чекпоинт для исследовательского стека.










Comments