Voxira Yorùbá Phase XII
распознавание речи с переключением между йоруба и английским
2 мин чтенияобновлено
Акустический чекпоинт для автоматического распознавания речи (ASR), обученный на смеси английского языка, языка йоруба и их смешанной формы (code-switching, когда говорящий переходит с одного языка на другой в одной фразе). Модель построена на базе facebook/wav2vec2-large-xlsr-53 (315 млн параметров, архитектура Wav2Vec2ForCTC) от автора Awesome-x. В отличие от прошлой версии Phase XI, где менялся только декодер, здесь заново обучены верхние слои трансформера и выходная голова на 47 токенов. Пригодится разработчикам голосовых сервисов, работающих с двуязычной западноафриканской речью.
Ключевые особенности
- Свежие акустические веса: дообучение шло 10 эпох (2 950 шагов) на корпусах Google FLEURS и YECS при замороженных нижних 12 слоях трансформера.
- Поддержка тонов йоруба: словарь распознаёт диакритические знаки тонов йоруба (например, À, É, Ọ, Ṣ) вместе с базовым латинским алфавитом.
- Пока без языковой модели: чекпоинт использует простое жадное CTC-декодирование (
argmax); внешняя языковая модель KenLM запланирована для следующего этапа.
Что можно сделать
- Транскрибировать смешанные аудиозаписи: расшифровывать голосовые сообщения или подкасты, где спикеры свободно смешивают английский и йоруба.
- Подключить внешний декодер: прикрутить собственную языковую модель через
pyctcdecode, чтобы исправлять фонетические ошибки в английских словах.
Пример
import torch, librosa
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
processor = Wav2Vec2Processor.from_pretrained("Awesome-x/voxira-phaseXII-acoustic")
model = Wav2Vec2ForCTC.from_pretrained("Awesome-x/voxira-phaseXII-acoustic")
audio, _ = librosa.load("sample.wav", sr=16000, mono=True)
logits = model(processor(audio, sampling_rate=16000, return_tensors="pt").input_values).logits
print(processor.batch_decode(torch.argmax(logits, dim=-1))[0])
Подробнее
Размер весов: 1,26 ГБ (315M параметров, F32), на вход требуется моно-аудио 16 кГц (ролики длиннее ~30 секунд лучше резать на фрагменты).Метрики: независимая оценка на отложенной выборке пока не проводилась; validation loss снизился с 5,21 на 500-м шаге до 2,46 на 2500-м.
Ограничения: вывод идёт в верхнем регистре без пунктуации, встречаются токены
[UNK] и фонетическое написание английских слов (например, ACOUNT BAANC).









Комментарии