MiniMax-H3
омни-модальный генератор видео со стереозвуком
2 min readupdated
MiniMax-H3 — открытая генеративная система от MiniMaxAI на 33.12 млрд параметров, которая понимает текст, картинки, видео и аудио и на выходе создаёт ролики длительностью 4–15 секунд (24 FPS) с нативным стереозвуком. В основе лежит однопоточный трансформер H3-Omni-Transformer (в качестве текстово-визуального энкодера используются веса Qwen3-VL-32B), упаковывающий разные модальности в единую последовательность. В отличие от классических видеомоделей, система выпускается в двух вариантах: для генерации по тексту и кадрам (FL2VA) и по мультимодальным референсам (Ref2VA), причём 13B параметров в AdaLN-ветках можно закэшировать и не грузить при инференсе. Подойдёт разработчикам мультимодальных пайплайнов, видеомейкерам и исследователям генеративного видео и аудио.
Ключевые особенности
- Нативное стерео 32 кГц: звук генерируется одновременно с картинкой, стабильно поддерживается речь на 11 языках, включая русский.
- Два режима работы:
FL2VAсоздаёт видео по тексту, первому и/или последнему кадру, аRef2VAпринимает до 12 референсных файлов (до 9 картинок, до 3 видео и до 3 аудиоклипов). - Оптимизированная архитектура: весит 33.12B параметров (BF16), но при запуске около 13B параметров AdaLN-слоёв кэшируются заранее, снижая нагрузку на память.
- Готовность к экосистеме: веса уже адаптированы под
diffusers, а также заявлена совместимость с SGLang и vLLM.
Что можно сделать
- Генерировать сюжетные сцены и анимацию с плавными переходами между заданным начальным и конечным кадром в режиме
FL2VA. - Собирать ролики с сохранением стиля, персонажей и озвучки по набору референсных фото, видеофрагментов и аудиодорожек через
Ref2VA. - Озвучивать диалоги персонажей на русском, английском и ещё 9 языках без отдельного этапа синтеза речи и липсинка.
Пример
# Скачивание чекпоинта для генерации по тексту и первому/последнему кадру
hf download MiniMaxAI/MiniMax-H3 --include "model_index.json" "FL2VA/*" --local-dir MiniMax-H3Подробнее
Локальный чекпоинт H3-Base генерирует видео с короткой стороной 768 пикселей (соотношения сторон 21:9, 16:9, 4:3, 1:1, 3:4, 9:16).Модули предобработки контекста (H3-Context-IR) и 2K-апскейла через регенерацию (H3-Regenerate-2K) пока не выложены в open-source и доступны через API.
В текущем релизе используется full-attention; поддержка разреженного внимания (sparse-attention) обещана в будущих обновлениях.














Comments