MiniMax-H3 FlashGen Fused
ускоренная генерация видео за 4 шага
2 min read
Модель решает задачу генерации видео (и аудиосопровождения, судя по настройкам расписания) по текстовому описанию всего за 4 шага вместо стандартного длинного прогона. Она представляет собой трансформер базовой модели MiniMax-H3 (33,12 млрд параметров), в веса которого уже вшит ускоряющий адаптер LoRA (небольшая надстройка над базовой моделью) minimax-h3-4step-lora-flashgen от Beidouqixing и Huawei Ascend. В отличие от исходной модели, здесь не нужно отдельно подключать и применять LoRA на лету — веса уже объединены в формате bf16. Репозиторий пригодится тем, кто использует библиотеку diffusers и хочет сразу загрузить ускоренный трансформер для локальных экспериментов с видеогенерацией.
Ключевые особенности
- Вшитая LoRA: адаптер
Beidouqixing/minimax-h3-4step-lora-flashgenобъединён с основным трансформером с накоплением точности вfp32и сохранением вbf16. - Генерация за 4 шага: модель настроена на работу по сетке из 5 точек (4 шага сэмплера Euler).
- Только трансформер: в репозитории нет текстового энкодера и VAE (вариационных автоэнкодеров), их необходимо подгружать из оригинального репозитория
MiniMaxAI/MiniMax-H3. - Сдвиг сигм по модальностям: для корректной работы требуется применять формулу сдвига
s*sigma / (1 + (s-1)*sigma)с коэффициентами 12.0 для видео и 3.0 для аудио.
Что можно сделать
- Собрать быстрый пайплайн генерации видео в библиотеке
diffusers, скомбинировав этот трансформер с текстовым энкодером и VAE от базовой MiniMax-H3. - Использовать готовую склейку для быстрого прототипирования роликов за 4 шага без ручного слияния весов перед запуском.
Пример
# Расчёт сдвинутых сигм для 4 шагов (5 точек сетки)
base_schedule = [1.0, 0.7, 0.4, 0.15, 0.0]
s_video, s_audio = 12.0, 3.0
sigmas_video = [s_video * s / (1 + (s_video - 1) * s) for s in base_schedule]
sigmas_audio = [s_audio * s / (1 + (s_audio - 1) * s) for s in base_schedule]
# Передайте полученные значения в scheduler.set_timesteps(sigmas=...)
Подробнее
Размер модели: 33.12B параметров в точности bf16.Ограничения: в репозитории отсутствует text encoder и VAE — их нужно брать из MiniMaxAI/MiniMax-H3.
Лицензия: MiniMax H3 Community License (оригинальная LoRA под Apache-2.0); при использовании в приложениях требуется указывать «MiniMax H3».














Comments