SVDtrunc

SVDtrunc — набор сжатых моделей FLUX.1 от CVL-Heidelberg, основанный на методе Importance-Aware Low-Rank Distillation of Diffusion Transformers (ECCV 2026). Сжимается только transformer: SVDtrunc-m (8.1B, 68%) и SVDtrunc-s (6.8B, 57%) построены на FLUX.1-dev, а SVDtrunc-schnell-70 (8.3B, 70%) — на FLUX.1-schnell. Текст-энкодеры и автоэнкодер берутся из базовых моделей.

🧐 Ключевые особенности

• 🚀 Три чекпоинта: два для FLUX.1-dev и один для FLUX.1-schnell.
• 🔥 Сжатие затрагивает только transformer, остальные компоненты — от базовой модели.
• 🧐 Метод importance-aware low-rank distillation, представлен на ECCV 2026.
• ⚡ SVDtrunc-schnell-70 генерирует изображения за 4 шага, как FLUX.1-schnell.
• 🚫 Версии на FLUX.1-dev — под non-commercial лицензией; schnell-версия — Apache 2.0.

😎 Пример

git clone https://github.com/vislearn/SVDtrunc && cd SVDtrunc && uv sync
uv run svdtrunc generate --checkpoint CVL-Heidelberg/SVDtrunc/FLUX.1-dev/svdtrunc-m.safetensors \
    --prompt "a red fox sitting in fresh snow, golden hour" --output-dir outputs

Подробнее

Параметры transformer: 8.1B (68%) у SVDtrunc-m, 6.8B (57%) у SVDtrunc-s, 8.3B (70%) у SVDtrunc-schnell-70.
Сжатие не меняет текст-энкодеры и автоэнкодер — они загружаются из FLUX.1-dev или FLUX.1-schnell.
Для FLUX.1-dev-чекпоинтов нужно принять лицензию базовой модели; она non-commercial. SVDtrunc-schnell-70 распространяется под Apache 2.0.
Требования к VRAM в карточке не указаны.