ToonCrafter (512x320)
мультяшная интерполяция из двух кадров
1 min readupdated
ToonCrafter — диффузионная видеомодель от CUHK и Tencent AI Lab. Она получает два стоп-кадра и текстовое описание динамики, а на выходе генерирует короткий мультяшный переход между ними. Версия 512x320 обучена создавать 16 кадров при разрешении 512×320 на основе контекстного кадра того же размера.
Ключевые особенности
- На входе — начальный и конечный кадры плюс текстовый промпт о движении.
- Генерирует короткие ролики примерно на 2 секунды с FPS=8.
- Построена как video diffusion model и дообучена из DynamiCrafter-interpolation (512x320).
- Выход — 16 кадров в разрешении 512×320.
- Лицензия Apache-2.0; официального коммерческого продукта у ToonCrafter пока нет.
Пример
Задайте два опорных кадра мультяшной сцены и опишите текстом, как должно развиваться движение между ними. Модель построит короткий переход — например, для анимации персонажа или смены позы.
Подробнее
Ограничения: ролики короткие — около 2 секунд при FPS=8.Модель не отрисовывает разборчивый текст.
Автоэнкодер сжат с потерями, поэтому возможны лёгкие мерцающие артефакты.
Дообучена из DynamiCrafter-interpolation (512x320); данные о VRAM в карточке не указаны.










Comments