1⃣ MiniMax-H3 Video PixelHead v0.2.0
легкий экспериментальный VAE-адаптер для видео
2 мин чтения
Модель представляет собой предварительный адаптер (PixelHead) для базовой видеомодели Comfy-Org/MiniMax-H3, созданный для ускорения генерации и снижения потребления VRAM. Вместо штатного тяжелого декодера весом 2.68 ГБ предлагается компактный вариант весом всего 45.7 МБ в формате BF16 (или 91.4 МБ в FP32). На данный момент сборка имеет статус экспериментальной превью-версии: она отлично справляется с плоской графикой и общим движением, но из-за отсутствия перцептивных потерь смазывает мелкие детали и естественные текстуры. Разработка предназначена для предварительных быстрых компоновок и тестов в ComfyUI.
Ключевые особенности
- Компактность: Вес файла в формате BF16 составляет всего 45.7 МБ против 2.68 ГБ у штатного декодера.
- Ускорение: Обеспечивает прирост скорости обработки примерно в 8.5 раза по сравнению со стоковой конфигурацией.
- Качество плоских объектов: Уверенно декодирует плоскую 2D-графику и динамический текст (метрика достигает 36.73 dB).
- Интеграция: Поставляется с готовыми файлами рабочих процессов для ComfyUI на английском и китайском языках.
Что можно сделать
- Быстрый предпросмотр: Запустить превью-воркфлоу в ComfyUI для оценки движения и композиции видеоряда при нехватке видеопамяти.
- Тестирование сцен: Проверить черновики генераций с преобладанием простых геометрических форм и статических элементов.
- Исследование архитектуры: Использовать веса для экспериментов с локальными пайплайнами генерации видео на картах NVIDIA L4.
Пример
Для запуска превью-версии в ComfyUI загрузите один из файлов рабочих процессов (например, workflows/01_MiniMaxH3_VideoPixelHead_Preview_EN.json) и подключите скачанный файл весов minimax_h3_video_pixel_head_bf16.safetensors в узел декодера.
Подробнее
Бенчмарки (NVIDIA L4, разрешение 384x256, 22 кадра): общий средний показатель PSNR составляет 31.03 dB, а средний LPIPS — 0.2338.Ограничения: текущая версия v0.2.0 имеет проблемы с детализацией сложных текстур, лиц и быстрых перекрытий (на таких кадрах качество падает до 25.91 dB).
Требования к железу: значительно сниженные требования к VRAM за счет легковесного ConvNeXt-ствола вместо тяжелого ViT3D VAE.
Детали обучения: модель обучена в пиксельном пространстве с использованием потерь L1, MSE и соседних разностей без перцептивного LPIPS.














Комментарии