Big-LaMa for mobile
модели для инпейнтинга на телефоне
2 мин чтенияобновлено
Это конвертация известной модели Big-LaMa под мобильные платформы Core ML (для iOS) и LiteRT (для Android), предназначенная для удаления объектов и заполнения фона. Веса оригинальной модели остались неизменными, но форматы были адаптированы для запуска на смартфонах и планшетах. Вариант для iOS весит 50 МБ и оптимизирован с помощью 8-битного сжатия (паллетизации), а версия для Android использует матричные произведения вместо преобразования Фурье для работы на GPU и NPU. Релиз будет полезен разработчикам мобильных приложений, которым нужен качественный фоновый инпейнтинг прямо на устройстве.
Ключевые особенности
- Оригинальные веса Big-LaMa без изменений в качестве алгоритма закрашивания
- Поддержка Core ML для iOS 17+ с 8-битным квантованием весов
- Версия для LiteRT (Android) с заменой FFT на матричные операции для работы на NPU
- Оптимизированная скорость работы (~250 мс на Mac GPU и ~184 мс на Snapdragon 8 Elite NPU)
Что можно сделать
- Интегрировать модель инпейнтинга в iOS-приложение для удаления объектов с фотографий
- Добавить функцию закрашивания фона в Android-приложение с использованием аппаратных NPU-ускорителей
- Использовать готовые файлы .mlpackage или скомпилированные графы в своих проектах компьютерного зрения
Пример
Входы модели требуют изображение и маску размером 512×512 пикселей. Для Core ML используется запуск через computeUnits = .cpuAndGPU, так как быстрое преобразование Фурье не поддерживается на Neural Engine напрямую.
Подробнее
Бенчмарки: средняя абсолютная ошибка 0.050 для Core ML и 3e-6 для TFLite.Платформы: iOS 17+ (Core ML) и Android / LiteRT.
Лицензия: Apache-2.0.










Комментарии