AksharSTT v1
офлайн-STT для хинди и Hinglish на CPU
2 мин чтенияобновлено
AksharSTT v1 от byteknotlabs — распознавание речи для хинди, английского и Hinglish, рассчитанное на обычные CPU и телефоны. Версия 1 — один файл на 29,5 МБ с 4-битными весами, работает через движок Cactus needle. База — Cactus Whistle, учитель — Shruti.
Ключевые особенности
- Работает офлайн на обычных CPU и телефонах.
- Один файл 29,5 МБ, 4-битные веса.
- Хинди, английский и Hinglish; для хинди и Hinglish — тег
hi, для английского —en. - Архитектура Cactus Whistle: 8 encoder и 8 decoder слоёв шириной 512, около 55 млн параметров; дистилляция из Shruti.
- Один стиль вывода: хинди деванагари, английские слова строчной латиницей, числа словами, без пунктуации; пунктуацию и цифры оставляет приложению.
transcribeпринимает WAV или 16 кГц mono float samples в [-1, 1] любой длины; сword_timestamps=Trueвозвращает старт, конец и вероятность каждого слова.
Пример
pip install cactus-needle==3.2.8 huggingface_hub
from huggingface_hub import hf_hub_download
from needle import Whistle
model = Whistle(hf_hub_download('byteknotlabs/AksharSTT-V1', 'akshar-v1.cact'))
print(model.transcribe('speech.wav', language='hi')['text'])
Подробнее
Средний WER по шести тестам — 22,28% против 21,78% у Shruti; лучше на FLEURS Hindi (19,37 против 20,21) и MUCS Hinglish (34,41 против 35,26), хуже на Svarah Indian English (24,68 против 22,45).Обучение — около 11,5 часов на одной RTX 5080; около 55 млн параметров; лицензия Apache-2.0.
Обучена и протестирована только на хинди и английском; другие языковые теги Whistle остаются в словаре, но не тестировались. Оценки сняты на engine build 3.3.3.










Комментарии