RUPASTRA Text-to-Image 10M
ультракомпактная модель для генерации пиксель-арта
1 мин чтения
Миниатюрная нейросеть размером всего в 10,23 миллиона параметров обучена с нуля для создания персонажей в стиле пиксель-арта по текстовому описанию. Модель выдает картинки в разрешении 128x128 пикселей на базе датасета m1guelpf/nouns. Несмотря на скромный размер (~40 МБ), она использует интересные архитектурные решения: Grouped Query Dual-Attention (GQDA, метод ускорения внимания), позиционные эмбеддинги RoPE-2D и авторегрессионный подход. Разработка отлично подойдет исследователям и любителям запускать легкие генеративные модели локально.
Ключевые особенности
- Минимальный вес: всего ~10,23 млн параметров и размер файла весов около 40 МБ.
- Архитектура GQDA: кастомный трансформер с Grouped Query Dual-Attention и слоями SwiGLU.
- Пиксель-арт: специализация на генерации стилизованных персонажей с уникальной комбинацией формы и цвета.
- Авторегрессия: обработка через 2x2 Spatial Patch Decoding и компактный BPE-токенизатор.
Что можно сделать
- Сгенерировать пачку уникальных персонажей для инди-игры в стилистике Nouns.
- Исследовать поведение миниатюрных авторегрессионных моделей генерации изображений.
- Запустить генерацию графики на самом слабом железе благодаря крошечному потреблению ресурсов.
Пример
Пример текстового промпта для генерации персонажа:cat-shaped head, red-colored body, warm background
Подробнее
Параметры обучения и архитектура:• Архитектура: 8 слоев, d_model = 288, FFN dim = 768
• Обучение: 12 эпох, 9348 шагов, CFG dropout 0.1
• Метрики: Train Loss 1.1018, Eval Loss 0.9337
• Токенизатор: кастомный BPE на 828 слов










Комментарии