w2v-BERT 2.0 для киньяруанда
CTC-ASR для нестандартной речи
2 min read
Это CTC-модель для распознавания речи на киньяруанда (rw), дообученная на одну эпоху от badrex/w2v-bert-2.0-kinyarwanda-asr. База — w2v-BERT 2.0 с CTC-головой, около 600 млн параметров; дообучение шло на CDLI non-standard speech dataset с преимущественно молодыми взрослыми, которые заикаются. Автор предупреждает: это ранняя версия, лучше использовать oluwagbotty/w2vbert-ky-ft-3ep.
Ключевые особенности
- CTC-архитектура: не застревает в циклах повторения.
- Вывод — строчные буквы киньяруанда, пробелы и апострофы, без пунктуации.
- На тесте CDLI: WER 42.8%, CER 12.8%; до дообучения — WER 49.7%, CER 15.2%.
- Обучение всего 1 эпоха (721 шаг), автор советует 3-эпохную версию.
- Выход дословный: повторы заикания часто сохраняются в тексте.
Пример
import soundfile as sf, torch
from transformers import AutoProcessor, Wav2Vec2BertForCTC
repo = "oluwagbotty/w2vbert-ky-ft"
p = AutoProcessor.from_pretrained(repo); m = Wav2Vec2BertForCTC.from_pretrained(repo).eval()
a, r = sf.read("clip_16khz_mono.wav") # 16 kHz, mono
i = p(a, sampling_rate=16000, return_tensors="pt")
with torch.no_grad(): l = m(**i).logits
print(p.batch_decode(l.argmax(-1))[0])
Подробнее
Тест: 1 169 записей, 9 спикеров; WER 42.8%, CER 12.8%, per-utterance WER 44.6%.Валидация: WER 44.05% на шаге 500 (эпоха 0.69), 45.3% после полной эпохи.
Ограничения: всего 9 тестовых спикеров, различия менее ~3 WER пунктов не подтвердить; около двух третей ошибок — варианты орфографии и пробелов, поэтому CER честнее.
Данные: train — 11 536 записей, 46 спикеров, 47.7 часа; модель не для диагностики речи и решений о людях.










Comments