ZYVIDEO 1.1
текст-в-видео на 490M, которую доучили двигаться
2 min readupdated
Модель принимает текстовое описание на английском и выдаёт короткий ролик: 256×256, 16 кадров при 8 fps — примерно 4 секунды сцены. Это дообученная версия ZYVIDEO 1.0, построенной на ZYI-256 Flash: 343M пространственных параметров плюс 147M временных, итого 490M. Главное отличие версии 1.1 — упор на движение: для дообучения брали только клипы с настоящим движением, кадры сэмплировали с частотой 4 fps и добавили дополнительный вес лоссу на разницу между соседними кадрами. Пригодится тем, кто хочет собрать лёгкий пайплайн генерации видео для экспериментов или демо без тяжёлого железа, и тем, кто изучает, как маленькие модели справляются с динамикой сцены.
Ключевые особенности
- Ставка на динамику: обучение на отфильтрованных по движению клипах, средняя разница кадров выросла с 10.59 у 1.0 до 10.77.
- 490M параметров — пространственная часть взята от ZYI-256 Flash, временная добавлена сверху.
- Текстовый энкодер — замороженный flan-T5-base, промпты только на английском.
- Скромный формат: 256×256 и около 4 секунд, латент DC-AE по одному кадру (1024 токена).
Что можно сделать
- Сгенерировать короткий атмосферный клип по промпту вроде «a golden retriever running on a sunny beach» и вставить его в демо или презентацию.
- Прогнать серию сидов на одном промпте, чтобы посмотреть, как маленькая модель справляется с движением, и собрать наглядное сравнение с 1.0.
- Использовать как быстрый тестовый стенд: проверить пайплайн загрузки, сохранения в mp4 и нарезки кадров перед переходом на тяжёлые модели.
Пример
import importlib.util, sys
from huggingface_hub import snapshot_download
d = snapshot_download("caikybaldo999/zyvideo-1.1")
sys.path.insert(0, d)
from zyvideo import ZyVideoPipeline, save_mp4
pipe = ZyVideoPipeline(d)
video = pipe("a golden retriever running on a sunny beach", seed=0)[0]
save_mp4(video, "out.mp4", fps=8)
Подробнее
Validation loss на клипах с движением: 0.6537 против 0.6610 у 1.0.Дообучение: +16 285 шагов при batch 32 (521 120 видео) поверх 1.0, одна RTX PRO 6000, сессия 6 часов.
Нужны torch, diffusers, transformers, safetensors, huggingface_hub, imageio и imageio-ffmpeg.
Ограничения из карточки: лица, руки, текст и быстрое движение всё ещё даются тяжело, промпты только английские.










Comments