MiniMax-H3-Pruned-LightX8-hybrid-Fused
ускоренный видео-трансформер на 4–8 шагов
2 мин чтенияобновлено
Готовый компонент трансформера для генерации видео по тексту и картинке (image-text-to-video), в котором базовую модель multimodalart/MiniMax-H3-Pruned объединили с ускоряющим адаптером lightx2v_hybrid-4to8step-Turbo. За счёт вшивания весов LoRA (небольшой надстройки для адаптации моделей) напрямую в основную архитектуру на 20.11B параметров больше не нужно отдельно подгружать и переключать файлы адаптеров. Вы получаете единый чекпоинт, который сразу работает в режимах быстрой генерации на 4 или 8 шагов с разрешением до 768p. Пригодится тем, кто разворачивает пайплайны на базе MiniMax-H3 в библиотеке diffusers и хочет сократить время рендера без лишних настроек.
Ключевые особенности
- Вшитый адаптер
lightx2v_hybrid-4to8step-Turbo_r48_diffusers.safetensorsс коэффициентом слияния (fusion scale) 1 и рангом 48. - Поддержка режимов на 4 и 8 шагов инференса из одного файла без смены адаптеров.
- Разрешение генерации до 768p с использованием планировщика (scheduler)
euler / simple. - Прямая совместимость с библиотекой
diffusersчерезAutoModelс флагомtrust_remote_code=True.
Что можно сделать
- Генерировать видеоролики из текста и изображений в 768p за 4 или 8 шагов с ускоренным откликом.
- Встроить трансформер в локальный пайплайн
diffusersна базеMiniMax-H3-Prunedбез логики динамической загрузки LoRA. - Сравнить качество и скорость рендера между 4-шаговым и 8-шаговым режимами на одних весах с настройками video shift 6 и audio shift 3.
Пример
from diffusers import AutoModel
import torch
transformer = AutoModel.from_pretrained(
"ibyteohdear/MiniMax-H3-Pruned-LightX8-hybrid-Fused",
torch_dtype=torch.bfloat16,
trust_remote_code=True,
low_cpu_mem_usage=True,
)
Подробнее
Базовая модель: multimodalart/MiniMax-H3-Pruned/transformer (20.11B параметров)Параметры слияния: LoRA alpha 48, rank 48, scale 1, объединено 312 слоёв (метод fuse_lora с очисткой ключей peft)
Рекомендуемый инференс: 4 или 8 шагов, планировщик euler / simple, video shift 6, audio shift 3, до 768p
Важно: загружать только через AutoModel с trust_remote_code=True, стандартный класс MiniMaxH3Transformer3DModel не подходит














Комментарии