MiniMax-H3-MPEG-Diffusion
ускорение генерации видео в 1.94 раза
2 мин чтения
Набор исследовательских весов от разработчика johndpope, реализующий метод MPEG-Diffusion (Mixed-Resolution Video Generation) для видеомодели MiniMax-H3. Технология рендерит весь кадр в половинном разрешении, но выделяет ключевой объект (например, лицо) и прорисовывает его в полном разрешении с помощью механизма dual-resolution attention (внимания двойного разрешения). Такой подход позволяет получать чёткие детали на главном объекте при существенной экономии вычислений без полного файнтюна базового DiT (Diffusion Transformer). Репозиторий пригодится энтузиастам генерации видео, исследователям и пользователям ComfyUI, которые хотят ускорить создание роликов в высоком разрешении.
Ключевые особенности
- Ускорение почти в два раза: генерация 22-кадрового видео в разрешении 1344×768 проходит в 1.94 раза быстрее стандартного рендера на RTX 5090.
- Автоматическое выделение объекта: модуль
region_head_v3(линейный слой на 25-м блоке замороженного DiT) сам определяет зону с главным объектом во время сэмплинга. - Устранение артефактов сетки: предобученные K/V-карты (
kv_maps, ранг 128, 50 блоков) убирают «алмазную» зернистость в области высокого разрешения. - Поддержка ComfyUI: веса интегрируются через специальную ноду или CLI-пайплайн проекта
scrya-com/mpeg-diffusion.
Что можно сделать
- Ускорить локальный рендер видео на базе MiniMax-H3 в ComfyUI, подключив
kv_mapsиregion_head_v3через входmapsв режимеquality. - Дообучить собственный LoRA-адаптер (ранг 16) на базе опубликованного пайплайна
lot/train_tt_all.shи готовых текстовых эмбеддингов без запуска 32B-энкодера.
Пример
Запуск рендера в режиме высокого качества через CLI-инструмент из связанного репозитория scrya-com/mpeg-diffusion с использованием kv_maps и region_head_v3 (либо передача папки kv_maps во вход maps соответствующей ноды в ComfyUI): render --preset quality.
Подробнее
Скорость: 1.94× на 22 кадрах 1344×768 (тест на RTX 5090).Метрики:
region_head обучен на 2 354 изображениях с разметкой YOLOE, held-out mIoU — 0.468.Статус весов: опубликованы
kv_maps и region_head_v3; ранг-16 LoRA в репозиторий не включена (исследование в процессе).Лицензия: MiniMax H3 Community License — использование запрещено в США, ЕС, Великобритании и Южной Корее; требуется маркировка ИИ-контента.














Комментарии