t2i300m
компактная модель генерации картинок по тексту
2 мин чтенияобновлено
Модель t2i300m — это диффузионный трансформатор (DiT) на 311 миллионах параметров, созданный с нуля исследователем SmallAICreator. Она генерирует изображения размером 512×512 пикселей на основе текстового описания, используя замороженный текстовый энкодер flan-t5-base и автоэнкодер DC-AE. Благодаря небольшому размеру и продуманной архитектуре (в стиле PixArt), модель работает прямо на видеокартах потребительского уровня и доступна для запуска в Google Colab. Она отлично подойдет разработчикам, энтузиастам и тем, кто хочет изучить работу диффузионных моделей без требования к мощному серверному железу.
Ключевые особенности
- Компактный размер: всего 311M параметров (скрытый слой 1024, 18 слоев, 16 голов внимания).
- Обучение с нуля: модель обучена на датасете из 2 миллионов картинок с использованием бесплатных сессий Kaggle TPU.
- Разнообразие стилей: хорошо справляется с фотореализмом, пейзажами, фэнтези-существами и художественными стилями (акварель, пиксель-арт).
- Быстрый инференс: для генерации качественного изображения требуется около 30 шагов сэмплера Euler.
Что можно сделать
- Сгенерировать фотореалистичные сцены с едой, животными или пейзажами с помощью Python-скрипта или командной строки.
- Запустить интерактивное веб-приложение с интерфейсом прямо в браузере через Google Colab.
- Создать цифровой арт или иллюстрации в стилях масляной живописи, акварели или пиксель-арта.
- Интегрировать модель и код инференса на JAX в собственные проекты генерации контента.
Пример
Пример генерации изображения с помощью Python:
from t2i300m import T2I300M
pipe = T2I300M()
images = pipe("a red fox standing in fresh snow at sunrise", n=4, seed=2026)
images[0].save("fox.png")
Подробнее
Архитектура: DiT (adaLN-single, 2D RoPE, QK-norm)Латентное пространство: DC-AE f32c32 (заморожено)
Обучение: 2 этапа на Kaggle TPU v5e-8 (256px и 512px)
Лицензия: Apache-2.0










Комментарии