FLUX.2-dev MXFP8 FullEncoder

Это MXFP8 W8A8-квантование black-forest-labs/FLUX.2-dev от intel-ai, сделанное через AutoRound в режиме zero-shot RTN. В отличие от transformer-only варианта, здесь сжаты и блоки diffusion transformer, и весь мультимодальный энкодер.

🔍 Ключевые особенности

• ⚙ Квантованы 192 Linear-слоёв diffusion transformer, 280 слоёв языковой части энкодера, 168 слоёв vision tower и 3 слоя мультимодального проектора.
• 🛡 В BF16 оставлены VAE, embeddings, norms, encoder lm_head, vision patch convolution и неблочные проекции трансформера, включая modulation/output.
• 📌 Настройки: group size 32, динамическое квантование активаций, iters=0, model_free=True, disable_opt_rtn=True; без калибровки и smoothing.
• 🖥 Есть готовые скрипты для text-to-image через vLLM-Omni и для image QA через Transformers + AutoRound.

💡 Пример

Генерация изображения через vLLM-Omni; по умолчанию 1024×1024, 50 шагов, guidance 4.0, seed 42.

CUDA_VISIBLE_DEVICES=0 python FLUX.2-dev-MXFP8-RTN-FullEncoder-AutoRound/examples/text_to_image.py --model FLUX.2-dev-MXFP8-RTN-FullEncoder-AutoRound --prompt "A red colored car." --output output.png

Подробнее

На DrawBench CLIP 32.4436 против 32.5236 у BF16 (−0.25%), CLIP-IQA 71.9781 (+0.31%), ImageReward 1.1547 (−1.44%).
ScienceQA: 91.3237% против 91.2742% у BF16, относительная потеря −0.0543%.
Тестировали на NVIDIA B200 с vLLM 0.32.0, vLLM-Omni 0.32.0, Transformers 5.19, Diffusers 0.40 и PyTorch 2.13+cu130.
Свободный VQA, редактирование изображений и другие бэкенды не проверены; действует лицензия исходной FLUX.2-dev.