Cobijada MiniMax-H3 Hybrid
объединённый чекпоинт для видео и аудио
2 min read
Гибридная модель для совместной генерации видео и звука в ComfyUI, собранная на базе двух официальных версий диффузионного трансформера (DiT) MiniMax H3 без дополнительного обучения. Оригинальный вариант FL выдаёт более высокое качество картинки и аудио по начальному и конечному кадру, но не умеет работать с референсами, а вариант REF поддерживает референсы ценой заметной потери качества. Автор взял за основу более качественный чекпоинт FL и перенёс в него только слои adaln_proj из второй половины сети (блоки 25–49) от модели REF. В результате один чекпоинт позволяет генерировать ролики с опорой на фото, видео или аудиореференсы, сохраняя качество на уровне FL. Модель основана на очищенных (pruned) версиях без цензуры (uncensored) и пригодится пользователям ComfyUI, которым не хватало качества стандартного REF-чекпоинта.
Ключевые особенности
- Точечное слияние весов: из чекпоинта REF взяты только проекции модуляции
adaln_projдля блоков 25–49, отвечающие за обработку референсов, остальные веса остались от FL. - Два режима в одном файле: поддерживает как генерацию с референсами (изображение, видео, аудио), так и стандартные сценарии по первому и последнему кадру.
- Три формата точности: в репозитории доступны полная версия BF16 и две квантованные сборки — INT8 (ConvRot) и W4A8 (ConvRot).
- Полная совместимость с ComfyUI: архитектура и структура тензоров не изменены, для загрузки подходят стандартные ноды MiniMax H3 без кастомных дополнений.
Что можно сделать
- Генерация с референсами: создавать видео со звуком по текстовому описанию с опорой на референсное изображение, видеоролик или аудиодорожку.
- Анимация ключевых кадров: строить переходы по первому и последнему кадру (FL-режим) без необходимости переключаться на отдельный чекпоинт.
- Запуск на разном железе: выбрать облегчённые квантованные файлы INT8 или W4A8 вместо тяжелого BF16 для экономии ресурсов при генерации в ComfyUI.
Пример
Скачайте нужный .safetensors файл (BF16, INT8 или W4A8) и поместите его в папку ComfyUI/models/diffusion_models/. Загрузите модель через стандартный загрузчик чекпоинтов MiniMax H3 — после этого в одном воркфлоу можно подавать как первый/последний кадры, так и аудио-, видео- или фотореференсы.
Подробнее
База: MiniMax H3 FL и REF (pruned, uncensored variants)Методика: weight-selection merge на уровне тензоров без дообучения
Доступные файлы: BF16, INT8 (ConvRot), W4A8 (ConvRot)
Ограничения: на задачах без референсов модель не превосходит оригинальный чекпоинт FL
Лицензия: Apache 2.0 на мердж и квантование (оригинальные веса подчиняются лицензии MiniMax)














Comments