ONNX-модели для SMART

Репозиторий с ONNX-моделями для SMART — AI-помощника редактора ART: AI-маскирование, healing и шумоподавление raw. Всё работает на одном onnxruntime, PyTorch для инференса не нужен.

🔥 Ключевые особенности

• 🐆 SAM 2.1 от Meta (Apache-2.0) в четырёх размерах — tiny, small, base_plus, large; на каждый размер два файла: encoder и decoder.
• ✅ Encoder считается один раз на изображение: вход image [1,3,1024,1024], выходы high_res_feats_0, high_res_feats_1 и image_embed.
• 🎏 Decoder принимает точки и боксы (point_coords, point_labels), отдаёт single-mask логиты low_res_masks [1,1,256,256] и iou_predictions; логиты можно вернуть в mask_input для уточнения маски.
• 🩸 LaMa (big-lama, Apache-2.0) для healing: несколько операторов переписаны, чтобы модель шла через CoreML-провайдер onnxruntime на GPU, при этом работает на всех провайдерах.
• ⬇ В карточке приведены sha256-чексуммы всех девяти файлов.

😎 Пример

Сценарий из карточки: прогоняем encoder один раз на кадре 1024×1024 (RGB, 0..1, нормализация ImageNet mean/std, изображение растянуто до 1024×1024), затем кликаем по объекту — координаты в пространстве 1024×1024, метки 1/0 для переднего/фона и 2/3 для углов бокса. Decoder выдаёт маску 256×256, её апскейлят билинейно до размера изображения и берут порог 0. Для healing подаём image [1,3,H,W] и mask [1,1,H,W], где H и W кратны 8.

Подробнее

Точность SAM 2.1: mask IoU ≥ 0.99998 против PyTorch SAM2ImagePredictor на случайных последовательностях кликов с уточнением — для всех четырёх размеров.
LaMa: максимальная разница с оригиналом ~1e-5; для CoreML задаются фиксированные размеры через free dimension overrides 8*hk и 8*wk.
Модели — часть приложения SMART для редактора ART, экспорт сделан скриптами из репозитория.