informative-drawings-onnx
экспорт моделей для генерации контурных рисунков из фото
2 мин чтенияобновлено
Этот репозиторий содержит ONNX-версии (модели в формате для быстрого запуска на разных устройствах) трех генераторов из проекта Informative Drawings. Модели созданы для превращения обычных фотографий в качественные черно-белые линии, эскизы и аниме-арт. Набор включает модели с разной точностью (fp16 и fp32), оптимизированные для работы в мобильном приложении OutlineKid. Инструмент будет полезен разработчикам приложений для обработки изображений и любителям локального запуска нейросетей.
Ключевые особенности
- Три стиля генерации: контурный (contour), аниме (anime) и скетч (opensketch).
- Доступны версии в формате fp16 (половинная точность для ускорения) и fp32 (полная точность).
- Модели переведены в ONNX с поддержкой динамического разрешения изображений (H и W).
- Исходный код и веса распространяются под лицензией MIT.
Что можно сделать
- Интегрировать модели в мобильное или десктопное приложение для конвертации фото в графические наброски.
- Запустить обработку изображений через ONNX Runtime на CPU или других поддерживаемых платформах.
- Протестировать разные стили линий (контур, аниме, открытый скетч) на собственных фотографиях.
Пример
Модель принимает на вход RGB-изображение в диапазоне от 0 до 1 с динамическим размером (рекомендуется использовать размеры, кратные 8), а на выходе выдает одноканальную карту линий в виде тензора.
Подробнее
Бенчмарки (IoU): точность fp32 составляет 1.0000, а для fp16 на разных стилях и разрешениях (512 и 1024) значение IoU держится в пределах 0.9995–0.9999.Файлы в репозитории: anime.onnx (~8.6 МБ), contour.onnx (~8.6 МБ), opensketch.onnx (~8.6 МБ) и contour_fp32.onnx (~17.2 МБ как резервный вариант).
Детали обучения: конвертация выполнена из оригинального PyTorch-кода с использованием onnxslim и onnxconverter_common (opset 17).
Особенности: статистика InstanceNorm зависит от размера изображения, поэтому входное изображение подается целиком, а не тайлами.








Комментарии