MiniMax-H3-Prompt-Rewriter: квантованная версия мультимодальной модели
2 мин чтенияобновлено
Модель представляет собой квантованную (сжатую) версию lightx2v/MiniMax-H3-Prompt-Rewriter-Qwen3.8-27B-Ref2VA, созданную с помощью библиотеки llm-compressor. Основная задача этой LLM (большой языковой модели) — улучшение и переписывание промптов (текстовых запросов) для генеративных пайплайнов, с учетом визуальных данных. Благодаря 4-битной квантованию вес модели уменьшился с примерно 55 ГБ до 19 ГБ в VRAM, что позволяет запускать её на потребительском железе и в среде ComfyUI с дополнительным запасом памяти. Модель создана разработчиком 4kun и ориентирована на энтузиастов и пользователей локальных нейросетевых станций.
Ключевые особенности
- Сильное сжатие: вес модели уменьшен с ~55 ГБ до ~19 ГБ VRAM в vLLM.
- Схема квантования NVFP4A16 (веса в 4-битном FP4, активации в 16-битном BF16).
- Точечная оптимизация: квантованы только линейные слои языкового бэкэнда, а визуальный модуль и lm_head сохранены в оригинальном bfloat16.
- Удобная интеграция для запуска в средах вроде ComfyUI или серверах vLLM.
Что можно сделать
- Запустить модель локально на оборудовании с меньшими требованиями к видеопамяти благодаря сжатому формату.
- Подключить модель в ComfyUI для автоматического улучшения и детализации промптов для генерации контента.
- Настроить сервер обслуживания через vLLM для быстрой обработки мультимодальных запросов.
Пример
Пример запуска сервиса модели через vLLM с поддержкой обработки изображений и конфигурацией генерации:
vllm serve 4kun/MiniMax-H3-Prompt-Rewriter-Qwen3.8-27B-Ref2VA-NVFP4A16 \
--served-model-name MiniMax-H3-Prompt-Rewriter-Qwen3.8-27B-Ref2VA \
--dtype bfloat16 \
--max-model-len 32768 \
--limit-mm-per-prompt '{"image":50,"video":0}' \
--reasoning-parser qwen3 \
--default-chat-template-kwargs '{"enable_thinking":true,"reasoning_effort":"xhigh"}' \
--override-generation-config '{"temperature":0.7,"top_p":0.8,"top_k":20,"max_new_tokens":16384}'Подробнее
Схема квантования: NVFP4A16 (nvfp4-pack-quantized, W4A16)Требования к VRAM: ~18.8 ГБ в vLLM (против ~55.6 ГБ в исходном BF16)
Особенности архитектуры: языковой бэкэнд квантован, визуальная башня и lm_head оставлены в bfloat16
Базовая модель: lightx2v/MiniMax-H3-Prompt-Rewriter-Qwen3.8-27B-Ref2VA














Комментарии