1⃣ Kenzan-MiniMax-H3-Image-20B-PinGrid-GGUF
тяжёлая генерация картинок в 16 ГБ памяти
2 мин чтенияобновлено
Автор kabcnd выпустил полный комплект квантованных (сжатых) весов модели генерации изображений MiniMax-H3-Image, адаптированный для локального запуска на устройствах с 16 ГБ объединённой памяти Apple Silicon. В сборку вошли 20-миллиардный диффузионный трансформер (DiT), текстовый энкодер Qwen3-VL-32B (50 слоёв) и оригинальный VAE в формате FP16. С помощью комбинированной схемы сжатия Pin-Grid объём модели удалось уменьшить более чем в четыре раза без потери работоспособности на потребительском железе. Решение пригодится владельцам Mac с 16 ГБ RAM, которые хотят запускать крупные генеративные модели локально без ошибок нехватки памяти (OOM).
Ключевые особенности
- Сжатие Pin-Grid: основной блок 20B DiT весит 8,40 GiB вместо исходных 37,47 GiB в BF16 (уменьшение в 4,46 раза).
- Компактный энкодер: 50-слойный Qwen3-VL-32B распакован из
int8_convrotи сжат до 10,46 GiB с сохранением визуальных слоёвvisual.*вQ8_0для редактирования картинок. - Поддержка популярных движков: работает как через нативный
stable-diffusion.cpp(sd-cliиsd-serverс Metal), так и вComfyUIчерез плагинComfyUI-GGUF. - Открытые рецепты: в репозитории лежат Python-скрипты
convert_dit_to_gguf.pyиconvert_te_to_gguf.pyдля самостоятельной потоковой конвертации.
Что можно сделать
- Генерировать изображения 1024×1024 локально через терминал с помощью
sd-cliна Mac mini M6 с 16 ГБ памяти. - Поднять фоновый локальный сервер
sd-serverна порту 8189, чтобы не тратить время на повторную загрузку весов при каждом запросе. - Подключить веса в
ComfyUIчерезComfyUI-GGUFдля сборки пайплайнов генерации и редактирования изображений.
Пример
./sd-cli --diffusion-model Kenzan-MiniMax-H3-Image-20B-PinGrid-Q3_K-M6-16G.gguf \
--llm Kenzan-Qwen3VL-32B-L50-MiniMaxH3-PinGrid-Q2_K-M6-16G.gguf \
--vae minimax_h3_image_vae_fp16.safetensors \
--offload-to-cpu --flash-attn on \
-W 1024 -H 1024 --steps 6 --cfg-scale 1.0 \
--sampling-method euler --scheduler simple -p "Your prompt here" -o output.png
Подробнее
Тесты на Apple Mac mini M6 (16 GB Unified Memory, 1024×1024, 6 шагов euler/simple):—
stable-diffusion.cpp (Metal 4): 7,20–8,24 с/шаг, декодирование VAE 2,43–2,59 с (с флагом --offload-to-cpu).—
ComfyUI + ComfyUI-GGUF (PyTorch MPS): 13,27 с/шаг, декодирование VAE 5,36 с, пиковое потребление памяти 11,88 GiB.Состав файлов: DiT 8,40 GiB (смесь Q2_K/Q3_K/Q4_0/Q5_K и F32), энкодер 10,46 GiB (Q2_K/Q3_K/Q4_0/Q5_K/Q8_0), VAE 1,09 GiB (FP16).














Комментарии