Kandinsky S2V 1.0 Pro-distill

Это speech-to-video модель Kandinsky S2V 1.0: по одному референсному кадру и аудиодорожке она анимирует всю фигуру человека, а не только голову. Аудио здесь — условие, звук модель не генерирует. В репозитории — Pro-distill чекпойнт в формате Diffusers, около 21,36 млрд параметров; подключение идёт через modular pipeline.

👉 Ключевые особенности

• 👉 Speech-to-video: на входе референсный кадр и речь, на выходе видео с анимацией всей фигуры; звук не генерируется, а служит условием.
• 💪 Pro-distill: pi-Flow дистилляция, 16 шагов, guidance «вшит» в веса — без guider и negative prompt.
• 👀 Компоненты: transformer 39,8 GiB, VAE 0,9 GiB, Qwen2.5 Omni Thinker 16,6 GiB, CLIP 0,5 GiB; Thinker без Talker, CLIP без vision tower.
• 😐 Формат: чекпойнт для Diffusers, но Kandinsky S2V 1.0 ещё не вошла в релиз Diffusers — подключение через modular pipeline.
• 🥰 Длина: 125 кадров на чанк при 25 fps (5 с), 512 buckets по соотношению сторон референса; длинная речь — чанками с FramePack memory.

💪 Пример

import torch
from diffusers import ComponentsManager, ModularPipeline
manager = ComponentsManager()
pipe = ModularPipeline.from_pretrained("kandinskylab/Kandinsky-S2V-1.0-Pro-distill-Diffusers", components_manager=manager)
pipe.load_components(dtype=torch.bfloat16)
manager.enable_auto_cpu_offload(device="cuda", memory_reserve_margin="40GiB")

Подробнее

Бенчмарков в карточке нет.
Pro не помещается в 80 ГБ со всеми компонентами: нужен auto CPU offload, пик около 50 GiB.
Модель анимирует реального человека по одной фотографии и голосу, который может ему не принадлежать; используйте кадр с согласия человека и не выдавайте результат за настоящую запись.