SyncWorld

Это финальный чекпоинт SyncWorld от yyuncong для роботизированного видео-предсказания. Модель работает с кадрами-полосами 1536×384 из трёх камер и генерирует следующие 16 кадров по якорному кадру и будущим командам действий. Размер в параметрах не указан; архитектура — full-attention in_context без TTT-памяти.

➕ Ключевые особенности

• 🔤 Каждый кадр — полоса 1536×384 из трёх ячеек 512×384: две third-person камеры и wrist-камера.
• ➕ На вход подают якорный кадр и его 16 будущих действий; перед ним — до 8 чанков по 16 переходов как clean conditioning.
• ➖ Действия — нативные команды роботов: [dx, dy, dz в см, roll, pitch, yaw, gripper open].
• 🔜 Обучение шло на смеси PEWM s7: robocasa, robomimic, RLBench, DROID и симуляционные counterfactual-роллауты.

🔜 Пример

Сценарий из карточки: берут якорный кадр и 16 будущих команд, добавляют до 8 предыдущих 16-переходных чанков и получают следующие 16 кадров. Retrieval и distance-to-anchor embedding не используются.

Подробнее

Финальный train loss — 0.0848 на апдейте 20 000; авторы отмечают, что он не сравним с прошлыми раундами.
Обучение: 4 узла × 8 H100, 32 потока за апдейт, 20 000 апдейтов, чекпоинт каждые 1000.
Ограничения: нет retrieval и TTT-памяти; это финальный weights-only чекпоинт для исследовательского стека.