HiT
иерархический диффузионный трансформер для генерации изображений
2 мин чтенияобновлено
HiT (Hierarchical Diffusion Transformer) — это официальные PyTorch чекпоинты пиксельной диффузионной модели (модели для синтеза данных путем шумоподавления), которая группирует связанные патчи изображений в визуальную иерархию и обрабатывает большую часть блоков на компактных группах. Модель решает задачи безусловной генерации на ImageNet и синтеза картинок по текстовому описанию (Text-to-Image). Архитектура оптимизирует вычислительный процесс за счет иерархического представления, обеспечивая высокое качество графики. Релиз включает модели серий HiT-XL и HiT-B для разных разрешений.
Ключевые особенности
- Пиксельный Diffusion Transformer с иерархической структурой патчей
- Официальные веса PyTorch для ImageNet 256×256 и Text-to-Image 512×512
- Оптимизация работы блоков за счет компактных групп вместо полного набора патчей
- Высокие показатели метрик качества синтеза изображений
Что можно сделать
- Использовать чекпоинт HiT-XL/16 для генерации высококачественных картинок в разрешении 256×256 на ImageNet
- Применить модель HiT-B/16 для задач Text-to-Image генерации в разрешении 512×512 по текстовым промптам
- Интегрировать инновационный иерархический подход в собственные исследовательские проекты по диффузионным моделям
Пример
Для запуска генерации загрузите соответствующий файл весов (например, ImageNet256/HiT-XL16_ep600/model.safetensors или T2I512/HiT-B16_sft40k/model.safetensors) и подключите его в свой пайплайн PyTorch согласно инструкциям в официальном репозитории проекта.
Подробнее
• Чекпоинт ImageNet 256×256 (HiT-XL/16, 600 эпох): FID-50K 1.48• Чекпоинт T2I 512×512 (HiT-B/16, 40k шагов файнтюна): GenEval 87.78, DPG 85.33, PRISM 58.62, CoRe 45.22, Spatial 52.68
• Обучение Text-to-Image проводилось с использованием замороженных входов minit2i-frozen-inputs-v1


![[Krea2 Turbo] Asian Mix Lora](/media/civitai--2746042-krea2-turbo-asian-mix-lora/cover-320.webp)
![[Krea2 Turbo] Asian Mix Lora](/media/civitai--2746042-krea2-turbo-asian-mix-lora/cover.webp)




Комментарии