gemma-stt-hindi
компактная ASR для хинди со скоростью 140× реального времени
2 min read
Небольшая модель распознавания речи для хинди от автора bringagi: аудиоэнкодер EmbeddingGemma 2 (12-слойный conformer, 305M параметров), у которого дообучены только верхние 2 слоя, плюс 6-слойный CTC-«ридер» (d=768), выдающий символы деванагари. Обучена дистилляцией двух больших моделей хинди-ASR на бесплатных Kaggle T4. Авторегрессивного декодера нет — весь клип транскрибируется за один forward pass.
Ключевые особенности
- ~40 мс на клип 5.6 с на RTX 3050 Laptop (4 ГБ), это примерно 140× быстрее реального времени; 1.2 ГБ VRAM в fp16
- Опциональный KenLM beam search (3-gram) добавляет ~10 мс CPU на клип и снижает число ошибок в словах примерно на 25%
- 5.4% CER на Lahaja с LM — на уровне Qwen3-ASR-1.7B
- Только хинди: на выходе деванагари без пунктуации и цифр, числа выводятся словами
- Один forward pass вместо авторегрессии — быстрый инференс даже на слабом железе
Пример
from huggingface_hub import snapshot_download
import sys; sys.path.insert(0, snapshot_download("bringagi/gemma-stt-hindi"))
from gemma_stt import GemmaSTT
stt = GemmaSTT.from_pretrained("bringagi/gemma-stt-hindi")
print(stt.transcribe("clip.wav")) # greedy CTC
print(stt.transcribe("clip.wav", lm=True)) # + 3-gram LMПодробнее
Бенчмарки: 5.4% CER / 15.9% WER на Lahaja-100 с LM (greedy — 6.4% / 21.3%), 4.87% CER на Kathbath-valid.Обучение: ~1750 ч транскриптов от учителей, 605 минут на одной Kaggle T4 в fp16.
Ограничения: слабее на разговорной речи с ноутбучного микрофона (25% CER), не тестировалась на шумном, дальнем и телефонном аудио.
Лицензия: Indic Open Model License v1.0 — коммерческое использование и self-hosting разрешены, для публичного API нужно письменное одобрение Bodhan AI.










Comments