Kelix-AEDIT

Kelix-AEDIT от Kuaishou (OpenOneRec) — кастомный SANA diffusion transformer на 1.61 млрд параметров, который восстанавливает картинку из дискретных визуальных токенов. В отличие от Kelix-DiT, он не использует скрытые состояния LLM: условием служат квантованные признаки изображения со «mean fusion», так что реконструкция идёт без языковой модели.

➕ Ключевые особенности

• ➕ 8 кодовых книг по 8 192 записи, сетка условия по умолчанию 18×18
• ➕ Выход 512×512, сэмплирование — 20 шагов Euler, guidance scale 4.5, flow shift 3.0, BF16
• ➕ Токенизатор берётся из Kelix-SFT, латентный VAE — DC-AE из SANA1.5; грузятся отдельно и в репозитории не дублируются
• ➕ Два режима: реконструкция из файла изображения и декодирование готового тензора токенов
• ➖ Текстовые промпты не принимает: для text-to-image сначала нужна авторегрессионная модель, генерирующая токены

🔜 Пример

PYTHONPATH=. python checkpoints/Kelix-AEDIT/infer.py \
  --ckpt checkpoints/Kelix-AEDIT \
  --image input.jpg \
  --output reconstruction.png

Подробнее

Нужен NVIDIA CUDA GPU и FlashAttention 2.7.4.post1 под вашу связку PyTorch/CUDA.
Для декодирования токенов tokens.pt — тензор [324, 8] (int32/int64) с локальными индексами в [0, 8192), порядок row-major; сырые ID словаря авторегрессионной модели надо сначала перевести в локальные индексы кодовых книг.
Лицензия Kelix — по запросу в команду OneRec; компоненты SANA-DiT, DC-AE и Keye живут под своими исходными лицензиями.