KASASPEECH (DONDO)
мультиязычное распознавание речи для языков Южной Ганы
2 min readupdated
Модель автоматического распознавания речи (ASR), способная переводить аудиозаписи в текст сразу на восьми языках Южной Ганы: английском, французском, адангме, эве, фанти, га, нзема и ашанти-чви. Она создана на базе архитектуры w2v-BERT 2.0 (0.61B параметров) в рамках проекта DONDO от команды KhayaAI и использует CTC (метод выравнивания аудио и текста без жесткой привязки по времени). В отличие от одноязычных решений, один чекпоинт объединяет все восемь языков за счёт передачи специального языкового префикса перед аудиопризнаками. Подойдёт исследователям, занимающимся малоресурсными языками, и разработчикам речевых сервисов для Западной Африки.
Ключевые особенности
- Единый чекпоинт на 0.61 млрд параметров поддерживает 8 языков региона с переключением через числовой префикс.
- Обучена в два этапа со снижением скорости обучения (learning-rate annealing), что позволило на ряде языков обойти моноязычные бейзлайны.
- Средний уровень ошибок по словам (WER) составляет 11.4% на тестовом наборе (например, 3.64% для французского и 6.57% для эве).
- Распространяется под свободной лицензией Apache-2.0, разрешающей коммерческое использование и дообучение.
Что можно сделать
- Использовать как базовую модель для дальнейшего файнтюна на собственных аудиоданных и диалектах Ганы.
- Встроить в пайплайн транскрибации на базе библиотеки
transformersдля расшифровки речи на 16 кГц. - Применять в качестве открытого полигона для тестирования новых методов обучения ASR на малоресурсных языках.
Пример
processor = AutoProcessor.from_pretrained("KhayaAI/w2v-bert-ada_ewe_fat_fra_gaa_nzi_twi_en")
model = AutoModelForCTC.from_pretrained("KhayaAI/w2v-bert-ada_ewe_fat_fra_gaa_nzi_twi_en")
feats = processor(speech.squeeze().numpy(), sampling_rate=16000, return_tensors="pt").input_features[0]
feats = add_language_prefix(feats, lang_id=2, num_langs=32) # 2 = Asante Twi
with torch.no_grad():
logits = model(input_features=feats.unsqueeze(0)).logits
print(processor.batch_decode(torch.argmax(logits, dim=-1))[0])
Подробнее
Средний WER: 14.7% после 1-го этапа обучения (LR 5e-5) и 11.4% после 2-го этапа (LR 5e-6).Требования: аудио на вход должно иметь частоту дискретизации 16 кГц; размер модели — 0.61B параметров.
Ограничения: обучалась преимущественно на чтении религиозных текстов; нет встроенного автоопределения языка (требуется ручной префикс); качество на африканском английском (WER 27.4%) ниже, чем у специализированной моноязычной модели (16.9%).










Comments