SUPlime-L Core ML

Конвертация моделей диаризации спикеров из rewayai/suplime-large в Core ML (mlprogram, fp16, скомпилированные .mlmodelc) для работы на устройстве в macOS 15+ с Apple Silicon. Автор — giuseppe-trisciuoglio; конвертация сделана для MeetRecord. Сегментация: WavLM-Large + Conformer, 349 млн параметров; эмбеддинги: SimAM-ResNet34, 25 млн параметров. Без дообучения.

🔥 Ключевые особенности

• 🎙 Два модуля: powerset-сегментация и эмбеддинги спикеров.
• 💻 Фиксированный вход: 10 с, 16 кГц, моно; сегментация принимает [1, 1, 160000] и выдаёт [1, 499, 11].
• 📚 Кластеризация agglomerative, centroid linkage, cosine distance, порог 0.72, min_cluster_size 12.
• 🔥 На M2 Pro сегментация на cpuAndGPU — около 0.12 с на окно, эмбеддинги на all — около 0.04 с.
• ❌ Только некоммерческое использование: CC BY-NC 4.0.

💻 Пример

Сценарий: подать 16 кГц mono float32 в диапазоне [-1, 1], нарезать окна по 160000 сэмплов с шагом 16000, усреднить перекрывающиеся кадры сегментации, посчитать kaldi fbank для чистых реплик, получить эмбеддинги и кластеризовать их по порогу 0.72.

Подробнее

Сегментация: 707 МБ в fp16; fbank не входит в Core ML и его нужно реализовать отдельно.
На 9 синтетических 10-секундных окнах argmax совпал в 9/9; минимум cosine для эмбеддингов — 0.9998.
Итальянский не указан среди языков обучения; качество вне английского и китайского не задокументировано.
Лицензия требует атрибуции и указания изменений.