HyperFlow
ускорение генерации видео со звуком на MiniMax-H3 в 3 раза
3 min readupdated
HyperFlow — это специализированная LoRA (небольшая надстройка над базовой моделью) от команды Video Rebirth для MiniMaxAI/MiniMax-H3. Вместо стандартных 49 проходов по сетке шума модель генерирует видео и стереозвук всего за 8 шагов, ускоряя весь пайплайн примерно в 3 раза без потери качества и даже с улучшением консистентности. Адаптер получен методом самодистилляции без использования внешних датасетов и работает поверх официального модульного пайплайна diffusers, сохраняя родные веса, VAE и энкодеры. Решение пригодится разработчикам и энтузиастам, которые запускают MiniMax-H3 локально или в облаке и хотят существенно сократить время рендера роликов.
Ключевые особенности
- 8 шагов вместо 49: фиксированная сетка сигм вшита прямо в файл весов, что сокращает время генерации клипа (124 кадра, 1344×768) с ~175 до ~60 секунд на 4× H200 и с ~395 до ~130 секунд на 1× H200.
- Один файл на три режима: единый адаптер (ранг 256, вес 2.8 ГБ) поддерживает сценарии
t2va(текст в видео+аудио),fl2va(по первому кадру) иref2va(по референсам изображения, видео и голоса). - Двухвременное обуславливание: кастомный блок
TwoTimeEmbedderучитывает текущее времяtи конечную точку шагаr, сохраняя опорные кадры и референсы неизменными. - Улучшение деталей и камеры: по тестам авторов на тех же сидах дистиллированная версия даёт более точный контроль камеры, лучшую согласованность кадров и проработку материалов по сравнению с базовой моделью.
Что можно сделать
- Генерировать ролики по первому кадру: оживлять стартовые изображения в видео со звуком через режим
fl2vaв три раза быстрее стандартного пайплайна. - Создавать сцены с заданными персонажами и голосом: использовать режим
ref2vaс референсными фото, видеоклипами и аудиодорожками, подгружая тот же файл весов. - Сравнивать качество лоб в лоб: запускать встроенные CLI-скрипты с флагом
--baseline, чтобы на одном сиде отрендерить ролик через базовую модель (49 шагов) и HyperFlow (8 шагов) для оценки разницы.
Пример
import torch
from diffusers import ComponentsManager
from diffusers.utils import load_image
from hyperflow_h3 import hyperflow_blocks, load_hyperflow_lora
manager = ComponentsManager()
blocks = hyperflow_blocks("fl2va")
pipe = blocks.init_pipeline("MiniMaxAI/MiniMax-H3", components_manager=manager)
pipe.load_components(dtype=torch.bfloat16)
load_hyperflow_lora(pipe, "videorebirth/hyperflow")
manager.enable_auto_cpu_offload(device="cuda", memory_reserve_margin="24GB")
out = pipe(prompt="A red fox trotting through a snowy pine forest", image=load_image("first.png"), num_frames=124, output=["videos", "audio", "sampling_rate"])Подробнее
Загрузка: только черезload_hyperflow_lora из пакета hyperflow-h3 (требуется Python ≥ 3.10, diffusers ≥ 0.40.0, transformers ≥ 4.57); параметр num_inference_steps передавать нельзя.Железо: пиковое потребление видеопамяти около 80 ГБ на карту (тестировалось на H200 141 ГБ с
memory_reserve_margin="24GB"; карты на 80 ГБ не проверялись). Поддерживается Ulysses context parallel до 4 GPU, FlashAttention-3 и NVIDIA Sol-Attn.Лицензия: распространяется по MiniMax H3 Community License Agreement (ограничена по территориям — не действует в ЕС, Великобритании, Южной Корее и США без отдельного разрешения MiniMax; требуется маркировка ИИ-контента).














Comments