Sana-Sprint CoreML
Конвертация быстрой модели генерации изображений для устройств Apple
2 мин чтенияобновлено
Этот репозиторий содержит неофициальную конвертацию модели генерации картинок Sana-Sprint 1.6B (разработанной изначально NVIDIA и MIT Han Lab) в формат Core ML для локальной работы на iPhone и других устройствах Apple с задействованием Neural Engine (специализированного чипа для ИИ). Модель создаёт изображения разрешением 1024x1024 пикселя всего за 1, 2 или 4 шага с использованием метода семплирования TrigFlow. Проект ориентирован на разработчиков и энтузиастов, желающих запускать быструю диффузионную генерацию прямо на мобильном железе.
Ключевые особенности
- Оптимизация под Core ML: Архитектура разделена на компоненты для эффективного выполнения на Apple Neural Engine и процессоре.
- Сверхбыстрая генерация: Подготовка картинок размером 1024x1024 за 1–4 шага благодаря современным подходам семплирования.
- 8-битные веса: Модель и текстовый энкодер используют 8-битное квантование для экономии памяти на устройстве.
- Встроенный энкодер: Текстовый энкодер на базе Gemma-2-2B поставляется в виде подготовленных чанков с предустановленной фиксированной инструкцией промпта.
Что можно сделать
- Интеграция в iOS-приложения: Добавить локальную генерацию картинок по текстовому описанию в собственное мобильное приложение под iOS.
- Эксперименты с железом: Протестировать скорость работы диффузионных трансформеров нового поколения на процессорах Apple Silicon и Neural Engine.
- Генерация на устройстве: Создавать детализированные изображения 1024x1024 пикселя полностью офлайн без отправки данных на сервер.
Пример
Модель поставляется в виде скомпилированных архивов Core ML (`.mlmodelc.aar`), включающих текстовый энкодер, диффузионный трансформер с линейным вниманием и автоэнкодер DC-AE для декодирования изображений.
Подробнее
Разрешение изображений: 1024x1024 пикселяКоличество шагов генерации: 1, 2 или 4 шага (TrigFlow)
Архитектура: SANA-Sprint 1.6B + Gemma-2-2B (текстовый энкодер с 8-битными весами)
Лицензия: Apache License 2.0 (код модели), текстовые компоненты подпадают под условия использования Gemma Terms of Use










Комментарии