Drishya Tiny

Drishya Tiny от Udgam Labs — исследовательский видеогенератор на 212M параметров, обученный с нуля на VidGen-1M. Он превращает текстовый промпт или промпт плюс первый кадр в 2-секундный клип 256×256. Внутри — VideoDiT и замороженные Wan2.2 VAE и Flan-T5-Base; это скорее эксперимент, чем продакшн-модель.

✨ Ключевые особенности

• 🦾 Обучен только генератор VideoDiT на 211,92M параметров; Wan2.2 VAE и Flan-T5-Base заморожены.
• 🐆 Text-to-video и image-to-video: во втором случае заданный кадр становится первым.
• ⬇ В inference T2V около 877M параметров, I2V около 1,03B; в репозитории только генератор.
• 👁 17 кадров при 8 fps, 256×256 — примерно 2 секунды; промпты обрезаются на 77 токенах Flan-T5.
• 🤫 Есть браузерная ONNX-версия на WebGPU: разовая загрузка 665 МБ, данные не покидают устройство, но клипы мягче.
• ✅ Лучше всего удаются природа, вода, снег, лодки и огонь; люди — плохо.

😎 Пример

from drishya import Drishya, save_mp4

pipe = Drishya.from_pretrained('udgamlabs/Drishya-Tiny')
frames = pipe('waves crashing on rocks at sunset', image=None, steps=50, cfg=5.0, shift=5.0, seed=0)
save_mp4(frames, 'clip.mp4', 'waves crashing on rocks at sunset')

Подробнее

VBench: T2V total 66.92 (quality 75.59, semantic 32.26), I2V total 82.62 — собственная оценка по официальному коду, не сертифицированный лидерборд.
FVD-2048 на отложенных клипах — 235.7; motion ratio 0.73.
Обучение: 15 ч на 1× NVIDIA L40S 48 GB, 180 080 шагов; весь проект — около $57, путь релиза — около $21.
Ограничения: короткие клипы 256×256, слабое следование промпту, лица и люди почти не удаются.