javawock7618/comfy-MiniMax-H3-workflows
Коллекция готовых воркфлоу для генерации видео и аудио в ComfyUI
2 мин чтенияобновлено
Этот репозиторий представляет собой набор оптимизированных воркфлоу для работы с моделью MiniMax-H3 в интерфейсе ComfyUI (графическом интерфейсе для создания пайплайнов генерации). Набор включает инструменты для генерации видео по первому и последнему кадру (FLF), по референсному изображению (R2V), создания переходов между видеороликами (Bridge), улучшения лиц (Face Refine) и синтеза речи (TTS). Все воркфлоу адаптированы под квантование INT8 (сжатие весов модели для экономии памяти), поддерживают нативные оптимизации внимания и интеграцию с ControlNet (инструментами управления позой и глубиной). Релиз пригодится видеомейкерам и энтузиастам, которые хотят запускать генерацию на локальном железе с меньшими требованиями к VRAM (видеопамяти).
Ключевые особенности
- INT8 Inference: использование квантованных весов модели для снижения требований к видеопамяти и повышения эффективности локального запуска.
- Нативные Block Sparse Attention: встроенные оптимизации обработки внимания в ComfyUI без необходимости установки дополнительных кастомных нод.
- Spectrum и Lightx2v Turbo LoRA: встроенные методы оптимизации сэмплинга и ускорения генерации (LoRA — небольшая надстройка над базовой моделью).
- Fun ControlNet Union: поддержка контроля генерации по картам OpenPose, Canny и Depth в I2V и R2V пайплайнах.
Что можно сделать
- Создать видео по кадрам: сгенерировать ролик на основе первого и последнего кадра (FLF/I2V) с опциональным апскейлом и продолжением видео (Extend).
- Перенести стиль с референса: запустить генерацию видео по изображению-референсу (R2V) с использованием специальной Reference LoRA.
- Связать два видео: сгенерировать плавный переходный фрагмент между видеоклипом А и видеоклипом Б с помощью воркфлоу Bridge.
- Сгенерировать речь: использовать отдельный воркфлоу для синтеза аудио (Text-to-Speech) на базе MiniMax-H3 без запуска процесса генерации видео.
Пример
Для запуска потребуется установить базовую модель MiniMax-H3, скачать нужный JSON-файл воркфлоу для ComfyUI и подключить необходимые кастомные ноды (например, для апскейла или работы с лицами), после чего загрузить веса в формате INT8 в соответствующие узлы пайплайна.
Подробнее
• Включает воркфлоу: FLF (I2V), R2V, Bridge, Face Refine и TTS.• Требует установки кастомных нод: ComfyUI-Spectrum-MiniMax-H3, ComfyUI-H3-FaceRefine, Comfyui_Minimax_h3_latent_Upscaler, ComfyUI-Switchboard.
• Опционально поддерживает Veda-on-ComfyUI для оптимизации внимания в I2V и R2V.
• Предназначен для работы с моделью MiniMax-H3 от Comfy-Org.












Комментарии