Wan2.1
передовая линейка открытых моделей генерации видео
2 мин чтенияобновлено
Wan2.1 — это комплексная и мощная линейка открытых моделей для генерации видео от Wan-Team, которая задает новые стандарты в области синтеза контента. В репозитории представлена версия T2V-1.3B (Text-to-Video), созданная на базе архитектуры Flow Matching (модификация диффузионных моделей) и способная работать на потребительских видеокартах. Модель превосходит многие существующие открытые и коммерческие аналоги, поддерживая генерацию качественного видео по текстовому описанию. Она станет отличным инструментом для творческих команд, видеомейкеров и исследователей с ограниченными вычислительными ресурсами.
Ключевые особенности
- SOTA производительность: Демонстрирует результаты лучше многих открытых аналогов и коммерческих решений.
- Поддержка потребительских GPU: Версия T2V-1.3B требует всего 8.19 ГБ VRAM и запускается на RTX 4090.
- Генерация текста на видео: Первая модель для видео, уверенно генерирующая текст на китайском и английском языках.
- Эффективный Wan-VAE: Фирменный 3D вариационный автоэнкодер кодирует и декодирует 1080P видео любой длины без потери временной информации.
Что можно сделать
- Сгенерировать 5-секундное видео в разрешении 480P по текстовому промпту с помощью Python-скрипта или интеграции с Diffusers.
- Подключить расширение промптов через API Dashscope или локальные модели Qwen для детальной проработки сцены.
- Запустить интерактивный веб-интерфейс Gradio локально для экспериментов с генерацией видео.
Пример
import torch
from diffusers import AutoencoderKLWan, WanPipeline
from diffusers.utils import export_to_video
model_id = "Wan-AI/Wan2.1-T2V-1.3B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", torch_dtype=torch.float32)
pipe = WanPipeline.from_pretrained(model_id, vae=vae, torch_dtype=torch.bfloat16)
pipe.to("cuda")
output = pipe(
prompt="A cat walks on the grass, realistic",
height=480,
width=832,
num_frames=81,
guidance_scale=5.0
).frames[0]
export_to_video(output, "output.mp4", fps=15)
Подробнее
Требования к VRAM: от 8.19 ГБ для версии 1.3B (на RTX 4090 генерация занимает около 4 минут без квантования).Архитектура: Diffusion Transformer (DiT) на базе фреймворка Flow Matching с текстовым энкодером T5.
Особенности: рекомендуется использовать разрешение 480P для модели 1.3B из-за стабильности результатов.










Комментарии