FLUX.2-dev MXFP8 FullEncoder

Это MXFP8 W8A8-квантование black-forest-labs/FLUX.2-dev от changwangss, собранное через AutoRound в режиме zero-shot RTN. В отличие от варианта только с transformer, здесь квантованы и блоки diffusion transformer, и весь мультимодальный энкодер.

😎 Ключевые особенности

• ✅ Квантованы 192 Linear-слоя diffusion transformer, 280 слоёв языковой части энкодера, 168 слоёв vision tower и 3 слоя мультимодального проектора.
• 📌 В BF16 оставлены VAE, эмбеддинги, нормы, lm_head энкодера, vision patch convolution и часть проекций transformer.
• 🔮 Групповой размер 32, динамическое квантование активаций, без калибровки и сглаживания.
• 🖼 Для T2I заявлены 1024×1024, 50 шагов, guidance 4.0; проверка — на NVIDIA B200 с vLLM-Omni.
• ❌ Квантование визуальных модулей не ускоряет текущий Omni T2I-путь: он их не использует.

💻 Пример

CUDA_VISIBLE_DEVICES=0 python FLUX.2-dev-MXFP8-RTN-FullEncoder-AutoRound/examples/text_to_image.py \\
    --model FLUX.2-dev-MXFP8-RTN-FullEncoder-AutoRound \\
    --prompt "A red colored car." \\
    --output output.png

Подробнее

DrawBench: CLIP 32.44 против 32.52 у BF16 (−0.25%), ImageReward 1.155 против 1.172 (−1.44%).
ScienceQA: 91.32% против 91.27% у BF16, относительная потеря −0.0543%.
Свободный VQA и редактирование изображений не валидировались; лицензия — как у оригинального FLUX.2-dev.