FLUX.1-dev Four-Step Raw2Q 3000
автономный 4-шаговый генератор
1 min readupdated
Flux1-Dev-4Step-Raw2Q-3000 — полностью автономный Diffusers-чекпоинт для text-to-image от kimi000 на базе FLUX.1-dev. Это merged EMA после 3000 optimizer updates: 11,91 млрд параметров, в комплекте transformer, CLIP/T5, токенизаторы, VAE, кастомные pipeline и scheduler. Для инференса не нужны FAR, скачивание базовой модели, PEFT или слияние адаптеров.
Ключевые особенности
- Объединённый EMA-чекпоинт после 3000 обновлений; все 838 EMA-тензоров / 419 целевых модулей слиты.
- Слиты LoRAv2-адаптеры rank/alpha 256 для attention, MLP и output-слоёв.
- Генерация за 4 шага при
guidance_scale=3.5: это нативное distilled guidance, внешний CFG не нужен. - Есть
demo.pyиrequirements.txt; поддерживается--cpu-offload. - Обучение: paired raw2q regression + distribution matching, AdamW, batch 128, 16 GPU.
Пример
import torch
from diffusers import DiffusionPipeline
repo = 'kimi000/Flux1-Dev-4Step-Raw2Q-3000'
pipe = DiffusionPipeline.from_pretrained(repo, custom_pipeline=repo, trust_remote_code=True, torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()
image = pipe(prompt='A vintage pastel illustration of a tropical beach.', num_inference_steps=4, guidance_scale=3.5, height=1024, width=1024).images[0]
image.save('result.png')
Подробнее
4 шага,guidance_scale=3.5; внешний two-pass CFG отключён.Обязательны кастомные pipeline и scheduler: стандартный FluxPipeline не подойдёт.
Transformer и text encoders — BF16, VAE — FP32; для seed parity нужен CPU generator.
Валидация на H100 80GB; без
--cpu-offload VRAM существенно выше, другие разрешения не тренировочные.Текст на изображениях пока нестабилен; это экспериментальный чекпоинт. Лицензия FLUX.1 [dev] Non-Commercial.










Comments