Qwen-Image-2.1 MXFP8

Это MXFP8-конверсия Qwen/Qwen-Image-2.1 от intel-ai для генерации изображений на diffusers. Модель на 7,33 млрд параметров: квантован только image transformer — 32 DiT-блока и 224 Linear-слоя. Qwen3-VL text encoder и VAE остаются в BF16, а чекпойнт трансформера занимает 7.0 ГБ вместо 14.2 ГБ.

⚡ Ключевые особенности

• ⚡ MXFP8 W8A8, group_size=32, symmetric; использован RTN без калибровки и тюнинга (iters=0).
• 💻 Квантован только DiT; текст-энкодер, VAE, входные/выходные слои и все нормы — в BF16.
• 🔍 В diffusers W8A8 средний CLIP 39.88 против 39.86 у BF16 — gate GO.
• 🖼 RGBA-прозрачность сохраняется: alpha IoU@0.5 — 0.851, alpha MAE — 0.043.
• ⚙ Для vLLM-Omni нужен FlashInfer W8A8: Marlin W8A16 сильно ухудшает RGBA (CLIP 22.1).
• 📸 Примеры в карточке — 2048×2048, 40 шагов, seed 42, true_cfg_scale=1.0.

💻 Пример

import torch
from diffusers import DiffusionPipeline, PipelineQuantizationConfig, AutoRoundConfig

pipe = DiffusionPipeline.from_pretrained(
    "intel-ai/Qwen-Image-2.1-MXFP8DiT-AutoRound",
    quantization_config=PipelineQuantizationConfig(quant_mapping={"transformer": AutoRoundConfig(bits=8, group_size=32, data_type="mx_fp", backend="auto")}),
    dtype=torch.bfloat16, device_map="cuda")
image = pipe("A neon shop sign, rainy night", width=2048, height=2048, num_inference_steps=40).images[0]

Подробнее

Diffusers W8A8: T2I/RGBA CLIP 45.38/34.37, средний 39.88 против 39.86 у BF16; gate GO.
RTN (iters=0) без калибровки; MXFP8 в auto-round/diffusers экспериментален, скорость не обязательно выше BF16.
Нужны diffusers==0.42.1, transformers==5.19.0, auto-round==0.17.0, accelerate.
Возможны фактические ошибки и нежелательный контент — перед деплоем нужен safety-тест.