FLUX 3 Image Klein

Дистиллированный чекпойнт FLUX 3 Image Klein: 5.6B-трансформер для text-to-image и редактирования по одной или нескольким референсным изображениям. На вход принимает промпт и до 10 референсов, текстовый энкодер — Qwen3-VL-4B-Instruct. В репозитории лежат BF16-трансформер, варианты FP8 и NVFP4, а также автоэнкодер и текстовый энкодер.

✨ Ключевые особенности

• 🖼 Text-to-image, редактирование по одному референсу и мультиреференсные композиции — в одной модели.
• 📌 Bounding boxes в промпте: сетка 0–1000, можно менять цвет, двигать, заменять и удалять элементы; рамки задают место и масштаб, но не жёсткую маску.
• ⌨ Модель умеет рендерить текст внутри сгенерированных изображений.
• ⚙️ Нужен prompt upsampler: на коротких промптах результат будет обобщённым. Референсный upsampler — отдельная 9B-модель, её нужно загружать рядом с пайплайном.
• 🎨 Дистиллированный чекпойнт: 16 шагов, без guidance. Для файнтюнинга, LoRA и исследований есть отдельный Base.
• 🗂 Лицензия FLUX Kommunity: некоммерческое использование плюс коммерческая генерация для Qualifying Users с выручкой менее $5 млн; Qwen-энкодер — Apache-2.0.

💻 Пример

python scripts/cli.py 'A chunky knitted diorama: three white cable-knit icebergs with tiny pale blue houses' \
  --model distilled --out knitted.png

Подробнее

Пиковая память GPU с референсным кодом на B200, 1024×1024, без upsampler: 31 ГБ в BF16, 26 ГБ в FP8, 25 ГБ в NVFP4.
Prompt upsampler добавляет около 28 ГБ на 80-ГБ GPU.
Ограничения: короткие промпты дают обобщённый результат; текст может искажаться; рамки не удерживают пиксели внутри маски, а правки могут менять области вне запроса.
Модель не предназначена для предоставления фактической информации.