FLUX.2 klein TailSteer

Репозиторий davcha — конвертация весов FLUX.2 [klein] Base 9B TailSteer в формат ComfyUI в вариантах bf16 и int8-convrot. Оригинальная TailSteer — финальная стадия обучения поверх black-forest-labs/FLUX.2-klein-base-9B: она сохраняет возможности генерации и редактирования, но снижает накопление дрейфа, когда каждое следующее редактирование подаётся на вход. Это полные веса, без LoRA и отдельных модулей инференса.

⚙ Ключевые особенности

• 🔄 Два варианта конвертации: bf16 и int8-convrot.
• 🧨 TailSteer уменьшает дрейф при повторных редактированиях, сохраняя сильные стороны базовой FLUX.2 [klein] Base 9B.
• 🖥 Архитектура и раскладка официальной модели сохранены; по карточке не нужны адаптеры, слияние или специальный runtime.
• 📊 На Add & Preserve к 10-му туру: +6.11 dB PSNR и на 44.7% ниже LPIPS вне области правки.
• 🖼 Тот же чекпойнт поддерживает text-to-image и однотуровое редактирование; на Qwen-Image-Bench, BizGenEval, GEdit и ImgEdit результаты близки к базе.

🖥 Пример

Фрагмент из карточки для исходной TailSteer:

import torch
from PIL import Image
from diffusers import Flux2KleinPipeline
pipe = Flux2KleinPipeline.from_pretrained("Lyricccco/FLUX.2-klein-base-9B-TailSteer", torch_dtype=torch.bfloat16).to("cuda")
edited = pipe(image=Image.open("input.png").convert("RGB"), prompt="Change the jacket to blue.", num_inference_steps=50, guidance_scale=4.0, generator=torch.Generator(device="cpu").manual_seed(42)).images[0]
edited.save("output.png")

Подробнее

Add & Preserve, 10-й тур: PSNR 13.85 → 19.96, SSIM 0.289 → 0.621, LPIPS 0.524 → 0.290; COA 31.02 → 31.84.
Qwen-IB EN: 49.27 → 49.42; RISE accuracy: 14.17 → 13.61, то есть ниже базы.
Это чекпойнт после 2000 обновлений, onset 46/50. Требования к VRAM в карточке не указаны.