TexelDiff-16-62M

TexelDiff-16-62M от ArshPathan — небольшая (~62M параметров) диффузионная модель text-to-texture для текстур Minecraft 16×16 в стиле модов. Генерирует RGBA-текстуры блоков и предметов по текстовому промпту; с Mojang или Microsoft не связана.

✨ Ключевые особенности

• ✨ Диффузия в пиксельном пространстве: ~62M параметров, выход строго 16×16 с alpha-каналом.
• 🎨 Свёрточный UNet с self- и cross-attention, обусловлен замороженными CLIP-фичами openai/clip-vit-base-patch32 и разрешением текстуры.
• 💻 Обучение DDPM с cosine schedule и предсказанием шума; сэмплирование через DDIM и classifier-free guidance.
• 🎲 Разумные настройки: guidance 3–5 и steps 50; меньше guidance — больше разнообразия.
• ✅ Для полных блоков используйте opaque=True; для предметов и спрайтов — без него.

💻 Пример

from model import TextureGenerator

gen = TextureGenerator("ArshPathan/TexelDiff-16-62M")
imgs = gen("minecraft item texture: gold ingot", res=16, n=8, guidance=4.0)
imgs[0].resize((256, 256), 0).save("ingot.png")

Подробнее

Бенчмарки в карточке не приводятся. Обучение: 40 эпох (~31k шагов), AdamW, 1× T4 на Kaggle, около 9.5 часов; опубликованы EMA-веса.
Поддерживается только 16×16. Понимание текста ограничено обучающим словарём, а выходы могут быть похожи на тренировочные текстуры.
Промпты лучше давать в формате minecraft block texture: ... или minecraft item texture: ....
Данные — модовые текстуры с permissive-лицензиями, до 50k после фильтрации.