MMS-1b-all Kurmanji
распознавание курманджи на латинице
2 min read
Это файнтюн Meta MMS-1b-all для автоматического распознавания речи на курманджи (севернокурдском) в латинской графике Hawar. Автор — rona2001; используется адаптер kmr-script_latin, дообученный на Common Voice, плюс 5-gram KenLM при декодировании. База — 0,96 млрд параметров, но обучались только адаптер и выходной слой (2,2 млн параметров).
Ключевые особенности
- Язык — курманджи в латинице Hawar; входное аудио приводится к 16 kHz.
- База MMS-1b-all заморожена, обучены только адаптер kmr-script_latin и выходной слой.
- На Common Voice 27.0 test с LM: CER 3,8%, WER 15,4%; без LM — 5,6% и 25,3%.
- Для декодирования с KenLM нужны pyctcdecode и kenlm; есть greedy-режим без LM.
- Лицензия CC BY-NC 4.0 — только некоммерческое использование.
Пример
from transformers import Wav2Vec2ProcessorWithLM, pipeline
processor = Wav2Vec2ProcessorWithLM.from_pretrained("rona2001/mms-1b-all-kurmanji")
asr = pipeline("automatic-speech-recognition", model="rona2001/mms-1b-all-kurmanji",
feature_extractor=processor.feature_extractor,
tokenizer=processor.tokenizer, decoder=processor.decoder)
print(asr("clip.wav")["text"])
Подробнее
Тест Common Voice 27.0: 4 390 клипов, 405 спикеров. С LM: CER 3,8%, WER 15,4%; loose — 3,2% и 13,9%. Без LM: 5,6% и 25,3%.Обучение: 22 731 клип, 4 эпохи, lr 3e-4, effective batch 32; адаптер — 2,2 млн параметров.
Ограничения: только читаная речь Common Voice; больше ошибок на спонтанной речи, шуме, сильных диалектах и коде-свитчинге. Вывод — строчные буквы без пунктуации, заглавных и цифр.
Лицензия CC BY-NC 4.0 — только некоммерческое использование.










Comments