FLUX3 Klein 4Step Raw2Q

Экспериментальный чекпоинт kimi000 на базе black-forest-labs/flux-3-image-klein: Diffusers-совместимый text-to-image генератор на 5.55B параметров. Это merged EMA-экспорт эксперимента relative1/raw2q после 2000 optimizer updates; для инференса нужен только генератор, адаптеры уже слиты в BF16 transformer.

🔥 Ключевые особенности

• 🔥 Четыре шага инференса и guidance_scale=1.0: базовая модель уже guidance-distilled.
• 🖼 В репозитории transformer-шарды safetensors, text encoder, нативный FP32 VAE, tokenizer, кастомный pipeline и scheduler.
• 🧚‍♀ LoRAv2-адаптеры attention/MLP/output (rank/alpha 256) слиты в BF16 transformer; отдельный PEFT-лоадер не нужен.
• 💻 Есть demo.py и Python API; поддерживается CPU offload для экономии VRAM.
• ❌ Внешний CFG и negative prompts не поддерживаются; нужен родной scheduler (shift 6.93, final_step_size_scale 0.3).

💻 Пример

import torch
from diffusers import DiffusionPipeline
repo = 'kimi000/Flux3-Klein-4Step-Raw2Q-2000'
pipe = DiffusionPipeline.from_pretrained(repo, custom_pipeline=repo,
    trust_remote_code=True, torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()
img = pipe(prompt='A ceramic mug with GOOD MORNING text.',
    num_inference_steps=4, guidance_scale=1.0, height=1024, width=1024).images[0]

Подробнее

Валидация: H100 80GB, ровно 4 вызова transformer, нулевая разница латентов с training-style sampler, CPU offload работает.
Обучение — 1024×1024; height/width кратны 16 и не меньше 64, другие режимы не целевые.
VAE обязательно FP32; рендер текста несовершенен — бывают пропуски слов и сломанные длинные фрагменты.