intel-ai/Qwen-Image-2.1-MXFP8-AutoRound

Это MXFP8-версия Qwen/Qwen-Image-2.1 от intel-ai: W8A8, group_size 32, symmetric. Квантованы и image transformer, и языковой бэкбон Qwen3-VL; конверсия сделана через intel/auto-round с RTN (iters=0). Базовая модель — text-to-image на 7,33 млрд параметров.

⚙ Ключевые особенности

• 📦 Transformer уменьшен с 14,2 до 7,0 ГБ, text encoder — с 17,5 до 11 ГБ; весь pipeline ~18,6 ГБ.
• 🔒 В BF16 оставлены вход/выход DiT, все norm, vision tower, embeddings, lm_head и VAE.
• ✅ Средний CLIP: BF16 39,86 → MXFP8 40,33, recovery 101,17%; gate GO.
• ❗ Для vLLM-Omni нужен FlashInfer MXFP8 W8A8; fallback Marlin W8A16 сильно снижает качество.
• 🔍 Квантование экспериментальное: скорость не обязательно выше BF16.

▶ Пример

import torch
from diffusers import DiffusionPipeline, PipelineQuantizationConfig, AutoRoundConfig
pipe = DiffusionPipeline.from_pretrained("<org>/Qwen-Image-2.1-MXFP8-DiT-TE-AutoRound",
    quantization_config=PipelineQuantizationConfig(quant_mapping={
        "transformer": AutoRoundConfig(bits=8, group_size=32, data_type="mx_fp"),
        "text_encoder": AutoRoundConfig(bits=8, group_size=32, data_type="mx_fp")}),
    dtype=torch.bfloat16, device_map="cuda")
image = pipe("Neon sign", width=2048, height=2048, num_inference_steps=40).images[0]

Подробнее

CLIP T2I: BF16 46,08 → MXFP8 46,70; RGBA: 33,65 → 33,97.
PSNR 19,51 dB, SSIM 0,849; alpha IoU@0.5 0,860.
RTN без калибровки; MXFP8 в auto-round/diffusers экспериментален.
В AutoRoundConfig нужно явно задать bits=8, group_size=32, data_type="mx_fp".