DreamShaper 8 for Snapdragon NPU
DreamShaper 8 для чипов Snapdragon
2 мин чтения
Эта модель представляет собой вариант популярного генератора картинок DreamShaper 8 (файнтюн Stable Diffusion 1.5), оптимизированный специально для работы на нейронных процессорах (NPU) мобильных платформ. Файлы модели переведены в бинарный формат QNN context binaries для чипсета Snapdragon 8 Gen 2, что позволяет запускать генерацию изображений непосредственно на мобильном железе. Модель ориентирована на разработчиков мобильных приложений и энтузиастов, желающих запускать нейросети локально на смартфонах без обращения к облачным серверам.
Ключевые особенности
- Оптимизация под NPU: файлы адаптированы для Hexagon NPU процессора Snapdragon 8 Gen 2 (SM8550).
- Квантование весов: веса UNet квантованы до 8 бит (с сохранением 12 чувствительных свёрток в 16 битах), а активации и таблица эмбеддингов переведены в 16-битный формат.
- Фиксированное разрешение: модель работает строго с разрешением 512 × 512 пикселей.
- Раздельные компоненты: модель разбита на три бинарных файла (кодировщик текста, UNet и декодер VAE).
Что можно сделать
- Интегрировать в мобильное приложение: запустить генерацию картинок в приложении на базе движка QNN или использовать в Android-приложении LATAS.
- Протестировать локальный инференс: запустить генерацию изображений на мобильном устройстве без подключения к интернету и облачным GPU.
Пример
Модель состоит из трех файлов: text_encoder.bin, unet.bin и vae.bin, которые обрабатывают токены, латентное пространство и изображение в формате 16-bit fixed point через QNN runtime.
Подробнее
Относительная ошибка UNet по сравнению с fp32 составляет 0.9–2.7%, среднее сходство текстового кодировщика — 0.991, а качество декодера VAE достигает 53–56 dB PSNR.Требует наличия Qualcomm QNN runtime и чипсета Snapdragon 8 Gen 2 (Hexagon v73).
Распространяется под лицензией CreativeML Open RAIL-M (как и базовый DreamShaper 8).










Комментарии