MiniMax-H3-Image-PE
умный расширитель промптов от MiniMax
2 мин чтенияобновлено
Модель превращает короткие запросы пользователя в подробные описания для генерации изображений и автоматически подбирает подходящее соотношение сторон. Релиз выпущен командой MiniMaxAI для пайплайна MiniMax-H3-Image и построен на базе языковой модели Qwen3.8-27B с 4-битным квантованием FP4 (сжатием весов для экономии видеопамяти). В отличие от обычных LLM, модель работает в режиме рассуждений (thinking) и гарантированно выдаёт структурированный JSON со строгой схемой. Инструмент пригодится разработчикам генеративных сервисов и энтузиастам, которые хотят получать детализированные картинки из простых фраз.
Ключевые особенности
- Автоподбор пропорций: помимо развёрнутого описания, модель возвращает рекомендуемое соотношение сторон (например,
3:2) или сохраняет заданное пользователем. - Режим рассуждений: перед формированием ответа нейросеть продумывает детали сцены (
reasoning_contentотделяется от итогового JSON). - Готовность к продакшену: поддерживается развёртывание через SGLang с XGrammar для строгого контроля JSON-схемы, а также локальный запуск через Modular Diffusers.
- Задел под редактирование: в репозиторий включены системные промпты и шаблоны сборки сообщений для сценариев редактирования картинок с референсами (веса для этой задачи пока в разработке, но промпт можно использовать со своей VLM).
Что можно сделать
- Встроить в пайплайн генерации изображений перед диффузионной моделью (например, MiniMax-H3-Image), чтобы автоматически обогащать короткие запросы пользователей деталями освещения и композиции.
- Подключить готовый промпт из папки
prompt/edit/к сторонней мультимодальной модели (VLM), чтобы формировать точные инструкции для замены объектов по референсным фото.
Пример
import torch
from diffusers import ModularPipeline
pe = ModularPipeline.from_pretrained("diffusers/minimax-h3-image-pe-blocks", trust_remote_code=True)
pe.load_components(dtype=torch.bfloat16, device_map="cuda")
state = pe(prompt="An orange tabby cat sleeping on a sunlit windowsill.")
print(state.get("prompt"), state.get("aspect_ratio"))
Подробнее
Параметры: 27.36B, квантование FP4 (требует около 19 GiB VRAM).Запуск: нативный NVFP4 на поддерживаемых GPU или через bitsandbytes FP4 на остальных.
Ограничения: весов для Image editing PE в этом релизе ещё нет (доступен только промпт); описательный текст генерируется на английском языке.
Лицензия: MiniMax-H3-Image Community License Agreement (базовая Qwen3.8-27B — Apache 2.0).














Комментарии