MobileSAM-ONNX
ускоренные ONNX-графы для сегментации изображений
2 мин чтенияобновлено
Набор весов и графов в формате ONNX для MobileSAM v2 (облегчённой версии модели сегментации изображений Segment Anything), подготовленный командой moonbox-dev для запуска на устройствах с использованием ONNX Runtime (CPU, CUDA, DirectML). Модель состоит из компактного кодировщика изображений TinyViT-5M и декодера масок, заменяя тяжёлые компоненты оригинала ради высокой производительности на мобильных и локальных устройствах. Решение поставляется с готовым файлом pipeline.py для предобработки картинок и обработки координат промптов. Новинка пригодится разработчикам мобильных приложений, локальных сервисов и систем автоматической разметки данных.
Ключевые особенности
- Лёгкий кодировщик TinyViT-5M (всего 9.8 M параметров в сумме)
- Поддержка ONNX Runtime для CPU, CUDA и DirectML
- Точность fp16 с минимальным отклонением масок по метрике IoU
- Встроенный скрипт
pipeline.pyдля масштабирования, нормализации и работы с точками/боксами
Что можно сделать
- Интегрировать модель сегментации в мобильные или локальные десктопные приложения через ONNX Runtime
- Быстро генерировать маски объектов по точкам или ограничивающим рамкам (bounding box) на пользовательских фото
Пример
import sys, numpy as np
from PIL import Image
sys.path.insert(0, "fp16")
import pipeline
sam = pipeline.MobileSAM("fp16")
emb, size = sam.embed(np.array(Image.open("photo.jpg").convert("RGB")))
masks, scores = sam.point(emb, size, [[410, 300]]) # 3 masks [3, H, W] (bool)
box_mask, score = sam.box(emb, size, [120, 80, 700, 560])Подробнее
Бенчмарк: средний IoU масок 0.998 / худший 0.977 для fp16 сборкиРазмер файлов: энкодер 14.1 MB, декодер 16.5 MB
Зависимости: numpy, onnxruntime (или onnxruntime-gpu), Pillow
Лицензия: apache-2.0










Комментарии