LaMa ONNX fp16
лёгкая версия модели для удаления объектов
2 min readupdated
Модель для инпейнтинга (заполнения вырезанных или скрытых областей на изображении) на базе архитектуры LaMa (big-lama), переведённая в формат ONNX с сохранением весов в формате float16. Вес файла уменьшен вдвое — до 106 МБ, при этом при загрузке веса автоматически приводятся обратно к float32, поэтому качество генерации практически не отличается от оригинала. Релиз подготовлен автором HiggityPiggity на основе экспорта Carve/LaMa-ONNX специально для локального запуска прямо в браузере пользователя без отправки данных на сервер. Подойдёт веб-разработчикам и создателям графических инструментов, которым нужно быстрое и лёгкое удаление объектов на стороне клиента.
Ключевые особенности
- Размер файла
lama_fp16w.onnxсокращён вдвое по сравнению с fp32-версией — около 106 МБ. - При загрузке модели веса конвертируются обратно в float32, сохраняя точность работы оригинального графа.
- Полностью готова к локальному инференсу на устройстве пользователя, включая запуск внутри браузерных приложений.
- Работает с фиксированным разрешением 512×512 пикселей и принимает на вход само изображение и бинарную маску.
Что можно сделать
- Встроить в веб-приложение или браузерный фоторедактор для удаления лишних объектов и ретуши без затрат на серверные GPU.
- Использовать для достройки фона за объектами при создании 3D-эффекта движения камеры на фотографиях (как в приложении Lantern).
Пример
Модель принимает два тензора формата float32 размером [1, 3, 512, 512] (исходное RGB-изображение в диапазоне 0–1, где пиксели под маской обнулены) и [1, 1, 512, 512] (маска: 1 — заполнить, 0 — оставить). На выходе возвращается тензор [1, 3, 512, 512] со значениями RGB в диапазоне 0–255.
Подробнее
Точность: при заполнении области в 35% кадра средняя абсолютная разница с оригинальнойlama_fp32.onnx составляет всего 0.56 уровня (из 255), максимальная — 10.Ограничения: 8-битное динамическое квантование для этой модели непригодно (средняя ошибка превышает 100 уровней).
В репозитории также приложен скрипт конвертации
convert_fp16_weights.py.Лицензия: Apache-2.0.








Comments