Promises ASR RU

Файнтюн ai-sage/GigaAM-v3 (revision e2e_ctc) — Conformer с CTC-головой, который выдаёт русский текст с пунктуацией и нормализацией. Автор lazarenkod конвертировал модель в Core ML для приложения Promises: GigaAM.mlmodelc в fp16, front end — fp32.

✨ Ключевые особенности

• ✅ Русский текст с пунктуацией и нормализацией; словарь — исходные 256 piece.
• ✨ Фильтр филлеров: «э-э» и «м-м» больше не пишутся — 22,7 → 0,9 на 1000 слов.
• ⬇ Core ML: GigaAM.mlmodelc в fp16, front end остаётся fp32.
• 🦾 Дообучение: CTC + KL к оригиналу, SpecAugment, шум и комнатные отклики; WiSE-FT alpha 0,72.
• 📉 Качество на русском в пределах шума оригинала: FLEURS-ru 4,58% против 4,25%.
• 🤝 Лицензия MIT, как у оригинала.

🦾 Пример

На вход подаётся audio (1, N) float32 16 кГц, где N = 80 000, 160 000 или 320 000 (5, 10 или 20 с), и length — реальное число сэмплов. На выходе log_probs (1, T, C): один кадр на 40 мс, последний класс — CTC blank; дальше greedy или beam-декодирование.

Подробнее

Бенчмарки: FLEURS-ru 4,58% WER против 4,25% у оригинала; Common Voice ru — 2,73% против 2,57%; Russian LibriSpeech — 6,37% против 6,20%.
Размер около 424 МБ; на M4 Pro CPU+GPU 2400 с аудио обрабатываются за 9 с, на CPU — около 110 МБ памяти и 81× реального времени.
Ограничения: английские термины не улучшены, другие говорящие и комнаты не измерялись; проверки приватности маломощные и не покрывают утечку голоса.
Лицензия MIT, как у оригинала.