SAM3 ONNX (fp16)

Набор ONNX-файлов для SAM 3 от Meta: экспорт image-модели ViT-H от krauthaufen под ONNX Runtime. Это основа Sam3.Net, которая автоматически скачивает файлы; запуск возможен на CUDA, DirectML, CoreML и CPU.

👍 Ключевые особенности

• 📝 Image encoder: uint8 CHW 1008², нормализация уже встроена; отдельный вариант с neck для кликов.
• 🗣 Текстовый энкодер на CLIP-BPE токенах int64 [1,32] и concept decoder с 200 queries.
• 🤔 Exemplar decoder с 8 слотами box-exemplar и сохранённым box ROI pooling.
• 👍 Интерактивный декодер в стиле SAM-1/2: точки, рамка или маска на входе → 4 mask tokens.
• 🤝 FP16-конвертация, фикс для DirectML (убран allowzero), расхождение с PyTorch по mask IoU не более 0.04.

📝 Пример

Сценарий: подать изображение 1008×1008 и текстовый промпт вроде «cat» — модель вернёт маски для найденного концепта. Для интерактивного режима можно указать точки, рамку или готовую маску и получить 4 варианта маски.

Подробнее

Точность: mask IoU ≥ 0.96 относительно PyTorch (predict_inst / forward_grounding).
Пик GPU-памяти — около 7 ГБ.
Лицензия SAM License: файлы — производные SAM Materials, копию лицензии нужно передавать вместе с ними.