Nanosaur 250M
генератор иллюстраций, обученный с нуля на одной GPU
2 min readupdated
Nanosaur 250M от автора huangdffs — компактная text-to-image модель на 250 млн параметров для генерации иллюстраций по текстовому описанию или тегам. Модель создана полностью с нуля за 42 часа на одной видеокарте, а не дообучена из готовых чекпоинтов. В основе лежат три компонента: энкодер текста Google Gemma 3 270M, вариационный автоэнкодер PS-VAE (150M параметров, сжимает визуальные признаки DINOv3 в 96-канальное латентное пространство) и диффузионный трансформер DeCo (250M параметров). Проект ориентирован на исследователей и энтузиастов эффективного обучения генеративных моделей.
Ключевые особенности
- Обучение с нуля за 42 часа: весь цикл обучения выполнен на одной GPU, автор приложил технический отчёт и полный пайплайн скриптов.
- Связка PS-VAE и DINOv3: автоэнкодер инициализирован на базе
vit_base_patch16_dinov3и обеспечивает 16-кратное пространственное сжатие. - Архитектура DeCo: диффузионный трансформер использует широкую MLP-голову на каждый патч, ускорение SPRINT и x-prediction с V-loss.
- Понимание тегов и текста: генерация работает как по списку тегов, так и по естественному описанию.
Что можно сделать
- Генерировать иллюстрации локально: запустить встроенный веб-интерфейс на базе Gradio и протестировать генерацию в разрешении до 1024×1024.
- Обучить собственную T2I-модель: использовать открытые скрипты
train_vae.pyиtrain_diffusion_model.pyдля экспериментов на своих датасетах (в репозитории заложен пример под AFHQ 256×256). - Изучить современную архитектуру: разобрать на практике комбинацию Flow Matching, SIGReg Loss и компактного текстового энкодера Gemma 3 270M.
Пример
uv sync
uv run inference_diffusion_model.py
Подробнее
Чекпоинты в комплекте:vae_checkpoint.pt (150M) и diffusion_model_checkpoint.pth (250M).Требования к железу: GPU с CUDA, 8 ГБ VRAM для генерации 1024×1024 и от 24 ГБ VRAM для обучения.
Ограничения: модель создана для исследований, качество изображения уступает крупным коммерческим генераторам.
Для запуска потребуется принять условия доступа к Google Gemma 3 270M на Hugging Face.










Comments