H3-IMAGE-PE-HERETIC-NVFP4-COMFYUI
расширитель промптов для генерации изображений
2 min read
Модель превращает короткую пользовательскую идею в развёрнутое описание сцены и одновременно подбирает оптимальное соотношение сторон для генератора картинок. Репозиторий представляет собой сборку модели MiniMax-H3-Image-PE в формате квантования NVFP4 (4-битное сжатие весов для ускорения работы и экономии памяти), адаптированную для использования в ComfyUI. В основе лежит языковая модель Qwen3.8-27B, дообученная командой MiniMax специально для задачи prompt expansion (PE — автоматическое расширение промптов). Пригодится тем, кто хочет автоматически детализировать короткие запросы и получать структурированный JSON-ответ перед подачей в модель генерации изображений.
Ключевые особенности
- Два сценария работы: поддерживает расширение промптов для генерации с нуля (Text-to-Image) и содержит системный промпт для сценария редактирования изображений по референсам (в разработке).
- Структурированный вывод: возвращает строгий JSON с полями
expanded_caption(развёрнутое описание) иaspect_ratio(рекомендуемый формат кадра, например 3:2) при использовании XGrammar. - Режим рассуждений: поддерживает внутреннее «мышление» (thinking) перед выдачей финального ответа с отделением рассуждений через парсер
qwen3. - Гибкий запуск: работает как через сервер SGLang, так и локально через библиотеку
diffusers(Modular Diffusers blocks) с поддержкой нативного FP4 илиbitsandbytes.
Что можно сделать
- Улучшить качество генераций в ComfyUI: встроить модель как промежуточный узел перед диффузионной моделью, чтобы превращать пару слов в богатое описание с подходящими пропорциями кадра.
- Автоматизировать выбор формата: передавать параметр
auto, чтобы нейросеть сама решала, какой аспект (например, 3:2 или 16:9) лучше подходит под сюжет запроса. - Развернуть локальный API-сервис: поднять эндпоинт
/v1/chat/completionsна базе SGLang для пакетной обработки и обогащения пользовательских промптов.
Пример
import torch
from diffusers import ModularPipeline
pe = ModularPipeline.from_pretrained("diffusers/minimax-h3-image-pe-blocks", trust_remote_code=True)
pe.load_components(dtype=torch.bfloat16, device_map="cuda")
state = pe(prompt="An orange tabby cat sleeping on a sunlit windowsill.")
print(state.get("prompt"), state.get("aspect_ratio"))
Подробнее
Базовая архитектура: Qwen3.8-27B (файнтюн MiniMax-H3-Image-PE).Требования к VRAM: около 19 GiB видеопамяти в 4-битном режиме (нативный NVFP4 или через bitsandbytes FP4).
Параметры генерации по умолчанию: temperature 1.0, top_p 0.95, top_k 20, max_tokens 4096 (включая блок рассуждений).
Лицензия: MiniMax-H3-Image Community License Agreement (база Qwen3.8-27B под Apache 2.0).










Comments