DMAD
генерация видео со звуком за 4 и 8 шагов
2 мин чтенияобновлено
Набор дистиллированных моделей и LoRA (небольших надстроек для ускорения и адаптации) от исследователей из Texas A&M University и ByteDance. Главная звезда релиза — LoRA-адаптеры для огромной 33B модели MiniMax-H3, которые сжимают генерацию 1344×768 видео со стереозвуком с 50 шагов до 4 или 8 без использования CFG. В репозиторий также вошли ускоренные 4-шаговые версии Wan2.1-T2V (1.3B и 14B), SDXL и ImageNet-64. Благодаря оптимизациям и готовым воркфлоу для ComfyUI тяжёлую MiniMax-H3 теперь можно запустить даже на потребительских видеокартах с 8 ГБ VRAM.
Ключевые особенности
- Ускорение MiniMax-H3 (33B) с 50 до 4 или 8 шагов при разрешении 1344×768, 24 fps и нативном стереозвуке.
- На выбор доступны три варианта rank-128 LoRA (
lora_critic,full_criticна 4 шага и свежий8step_full_critic) как для Diffusers, так и в формате для ComfyUI. - Работа на видеокартах от 8 ГБ VRAM: 5-секундный ролик укладывается в 7 ГБ видеопамяти, а 15-секундный — в 12–14 ГБ.
- В комплекте идут готовые JSON-воркфлоу и примеры MP4 со встроенными схемами для ComfyUI на стандартных нодах (сэмплер
lcm+ планировщикsimple). - Дополнительно опубликованы 4-шаговые чекпоинты Wan2.1 (1.3B и 14B) для 480p видео и 1–4-шаговые версии SDXL.
Что можно сделать
- Генерировать 15-секундные ролики со встроенным стереозвуком в ComfyUI на картах с 16–24 ГБ VRAM с помощью готовых воркфлоу
dmad_h3_4step_15s_podcast.jsonилиdmad_h3_8step_15s_wok.json. - Запускать генерацию 5-секундных видео со звуком на бюджетных GPU с 8 ГБ видеопамяти через специальный облегчённый воркфлоу или флаг
--low-vramв CLI. - Использовать дистиллированные веса
dmad_wan2pt1_1pt3B.pthи14Bдля быстрой 4-шаговой генерации видео в 480p (81 кадр) без CFG.
Пример
hf download MiniMaxAI/MiniMax-H3 --local-dir models/MiniMax-H3 --exclude "FL2VA/*" --exclude "Ref2VA/*" --exclude "transformer_ref/*"
hf download ZhengmingYu/DMAD --include "minimax_h3/*_critic.safetensors" --local-dir ckpt
python inference.py --model-dir models/MiniMax-H3 --lora ckpt/minimax_h3/dmad_minimax_h3_4step_lora_critic.safetensors \
--prompt-file prompts/dmad_sweater.txt --seed 42 --output-dir outputs/dmad_sweater
Подробнее
Локальный запуск требует большого объёма оперативной памяти: при генерации на картах 8–16 ГБ VRAM расходуется около 45–46 ГБ ОЗУ (рекомендуется 64 ГБ RAM).Для 15-секундных роликов на 16–24 ГБ GPU в ComfyUI требуется кастомная нода
H3 Memory Optimization из пакета H3-Optimizations.На ускорителе H200 (с лимитом 14 ГБ VRAM) генерация 15 секунд видео занимает ~470 секунд за 4 шага и ~886 секунд за 8 шагов; 5 секунд на 8 ГБ укладываются в ~210 секунд.
Версия
full_critic (обученная с размороженным критиком) показывает более высокие оценки на бенчмарке AVGen-Bench по сравнению с lora_critic.













Комментарии