Seeing the Unseen

Новая image-to-video модель от исследователей NUS, NTU и Oxford, представленная на NeurIPS 2026. Это надстройка над Wan2.2-TI2V-5B: обученный симулятор частиц PGDS предсказывает движение сцены, а visible–invisible motion field (VIMF) передаёт его видео-диффузионной модели — включая поверхности, которые появляются только после движения объектов. В репозитории лежат fine-tuned transformer (~10 ГБ) и веса PGDS (~9 МБ).

✅ Ключевые особенности

• 👁 VIMF делит управление на reference-visible и future-emergent tracking video; сигнал подаётся через zero-initialized latent channels (48 → 144).
• 🦾 PGDS — обученный симулятор частиц: 95.92% average strict Acc-V на семи сценариях Physion++ без ручного задания физических параметров.
• ✅ Лучшая Semantic Adherence на всех семи сценариях и лучший Physical Commonsense на шести из семи.
• 🔥 +44.0% overall human preference против Wan2.2-5B.
• ⬇ В релизе только fine-tuned transformer; VAE, text encoder и scheduler берутся из оригинального Wan-AI/Wan2.2-TI2V-5B.

🎤 Пример

Скачивание весов из карточки:

hf download mbao827/seeing_the_unseen --local-dir checkpoints/seeing_the_unseen

Подробнее

Бенчмарки: 95.92% average strict Acc-V на семи сценариях Physion++; +44.0% overall human preference над Wan2.2-5B.
В релизе только transformer (~10 ГБ) и PGDS (~9 МБ); VAE, text encoder и scheduler нужно загрузить из базового Wan2.2-TI2V-5B.
Инструкции по установке и инференсу — в отдельном code-репозитории; требования к VRAM в карточке не указаны.