ZYI-256 Flash

ZYI-256 Flash от caikybaldo999 — компактная text-to-image модель на 343M параметров, которая генерирует изображения 256×256 и умеет редактировать их по инструкции на английском. Архитектура — DiT с rectified flow, латентное пространство DC-AE, текстовый энкодер flan-T5-base.

👀 Ключевые особенности

• 🔥 343M параметров, DiT + rectified flow; скрытый размер 1024, глубина 20, 16 голов.
• 🍒 256×256, DC-AE f32c32: всего 64 латентных токена; текст — flan-T5-base, 96 токенов.
• 👉 Режим editing: исходник кодируется DC-AE, его 64 токена идут в одной последовательности с целевыми; добавлен один обучаемый source-embedding.
• 💪 Обучение с нуля на 1 226 758 изображениях FLUX-Reason-6M; для editing — 190 988 пар из OmniEdit-Filtered-1.2M.
• 👀 Лучше всего удаются пейзажи, интерьеры, еда, объекты и живописные стили.

👉 Пример

from PIL import Image
pipe = zyi256.ZyiPipeline("caikybaldo999/zyi-256-flash")
pipe("a red fox sitting in a snowy forest", n=4, seed=0)
pipe.edit(Image.open("photo.jpg"), "make it winter, add snow")[0]

Английские промпты работают лучше: подписи в обучении на английском.

Подробнее

База: 9 544 шага при batch size 1024; файнтюн: ещё 10 233 шага, всего 42 981 шаг.
Железо: 1× NVIDIA RTX PRO 6000 (96 GB), около 5 ч на базу и 5,7 ч на файнтюн; editing-апдейт — 6,5 ч.
Ограничения: слабо с анатомией животных, лицами, руками и читаемым текстом; пространственные отношения соблюдаются не всегда.
Editing: +18 613 шагов, 60% editing / 40% text-to-image; низкое разрешение мешает мелким правкам.