glinfs-models
BiRefNet и ToonOut в ONNX для запуска в браузере на WebGPU
2 мин чтенияобновлено
Набор из трёх сконвертированных моделей семейства BiRefNet для сегментации изображений и удаления фона прямо в браузере без отправки данных на сервер. В архив вошли стандартная birefnet-general-fp16.onnx, облегчённая birefnet-lite-fp16.onnx и аниме-версия birefnet-toonout-fp16.onnx от автора dennougorilla (созданы для браузерного инструмента записи экрана Glinfs). Обычные ONNX-экспорты этих сетей падают или выдают пустые маски на WebGPU (веб-стандарте для работы с видеокартой), поэтому автор пересобрал графы операций, сохранив критичные вычисления в float32. Пригодится веб-разработчикам, создающим локальные фоторедакторы, генераторы стикеров и инструменты вырезания объектов на стороне клиента.
Ключевые особенности
- Полная совместимость с
onnxruntime-webи WebGPU без ошибок переполнения и пустых масок. - Три готовых варианта в комплекте: универсальная модель, быстрая lite-версия и ToonOut для аниме-иллюстраций.
- Смешанная точность: основные веса сжаты в fp16 (от ~122 МБ до ~519 МБ), а вход, выход, пулинг и индексы deformable-свёрток оставлены в float32.
- Воспроизводимая конвертация байт в байт с помощью открытого скрипта из репозитория Glinfs.
Что можно сделать
- Встроить локальное удаление фона в браузерный графический редактор или сервис создания стикеров без затрат на GPU-серверы.
- Использовать вариант ToonOut для точного вырезания аниме-персонажей и 2D-артов прямо на устройстве пользователя.
- Обрабатывать кадры скринкастов и веб-камеры в реальном времени или покадрово в веб-приложениях.
Пример
Модель принимает RGB-изображение в формате float32 [1, 3, 1024, 1024], нормализованное по стандартным значениям ImageNet (mean = [0.485, 0.456, 0.406], std = [0.229, 0.224, 0.225]), и возвращает маску сегментации float32 [1, 1, 1024, 1024].
Подробнее
Скорость (Chrome 157, onnxruntime-web 1.30.0, RTX 3080 Ti): ~485 мс на кадр (general и ToonOut) и ~260 мс (lite)Потребление памяти GPU: ~7.7 ГБ для general и ToonOut, ~5.8 ГБ для lite (на видеокартах с 8 ГБ и меньше не тестировалось)
Технические правки: разделение Split/Concat с более чем 7 ветками под лимиты буферов шейдеров WebGPU, замена Sum на цепочку Add
Лицензия: MIT










Комментарии