FLUX.1-dev Four-Step Raw2Q 3000

Flux1-Dev-4Step-Raw2Q-3000 — полностью автономный Diffusers-чекпоинт для text-to-image от kimi000 на базе FLUX.1-dev. Это merged EMA после 3000 optimizer updates: 11,91 млрд параметров, в комплекте transformer, CLIP/T5, токенизаторы, VAE, кастомные pipeline и scheduler. Для инференса не нужны FAR, скачивание базовой модели, PEFT или слияние адаптеров.

⚙ Ключевые особенности

• 🔄 Объединённый EMA-чекпоинт после 3000 обновлений; все 838 EMA-тензоров / 419 целевых модулей слиты.
• 📌 Слиты LoRAv2-адаптеры rank/alpha 256 для attention, MLP и output-слоёв.
• 📸 Генерация за 4 шага при guidance_scale=3.5: это нативное distilled guidance, внешний CFG не нужен.
• 🧑‍💻 Есть demo.py и requirements.txt; поддерживается --cpu-offload.
• ⚙ Обучение: paired raw2q regression + distribution matching, AdamW, batch 128, 16 GPU.

📸 Пример

import torch
from diffusers import DiffusionPipeline
repo = 'kimi000/Flux1-Dev-4Step-Raw2Q-3000'
pipe = DiffusionPipeline.from_pretrained(repo, custom_pipeline=repo, trust_remote_code=True, torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()
image = pipe(prompt='A vintage pastel illustration of a tropical beach.', num_inference_steps=4, guidance_scale=3.5, height=1024, width=1024).images[0]
image.save('result.png')

Подробнее

4 шага, guidance_scale=3.5; внешний two-pass CFG отключён.
Обязательны кастомные pipeline и scheduler: стандартный FluxPipeline не подойдёт.
Transformer и text encoders — BF16, VAE — FP32; для seed parity нужен CPU generator.
Валидация на H100 80GB; без --cpu-offload VRAM существенно выше, другие разрешения не тренировочные.
Текст на изображениях пока нестабилен; это экспериментальный чекпоинт. Лицензия FLUX.1 [dev] Non-Commercial.