OmniVoice-Africa
zero-shot TTS для 93 африканских языков и английского
1 min readupdated
OmniVoice-Africa — это TTS-модель от команды Ghana NLP / AfriSpeech, адаптация k2-fsa/OmniVoice. База — Qwen3-0.6B и 8-слойный дискретный кодек HiggsAudio; итоговый размер — около 0,81 млрд параметров. Модель синтезирует речь на 93 африканских языках и английском, включая Twi, Hausa, Yoruba, Swahili, Zulu, Igbo, Amharic и другие.
Ключевые особенности
- 93 африканских языка и английский: от Twi и Hausa до Zulu, Igbo, Amharic и Shona.
- Фонетическая обработка IPA через africa-g2p и espeak-ng снижает неоднозначность произношения.
- Zero-shot клонирование голоса по референсному аудио 3–5 секунд.
- Настроенный темп речи: speed=0.85, около 145 слов в минуту, для естественного звучания.
- Обучение на 897 часах речи AfriSpeech (387 175 фраз).
Пример
import soundfile as sf
from omnivoice.models.omnivoice import OmniVoice
model = OmniVoice.from_pretrained('AfriSpeech/omnivoice-africa', device_map='cuda:0')
audios = model.generate(
text='Akwaaba! Yɛfrɛ me Kofi, mepɛ sɛ mereka Twi kyerɛ wo nnɛ.',
language='twi',
)
sf.write('twi_output.wav', audios[0], model.sampling_rate)
Подробнее
Обучение: 897 ч речи (387 175 фраз), LoRA RSLoRA r=32, α=64, merged в Qwen3-0.6B; лучший validation loss — 3.7184.Железо: обучение на NVIDIA H200 (140 ГБ VRAM, bf16 + TF32); требования к VRAM для инференса в карточке не указаны.
Ограничения: для английского нужен espeak-ng; русский язык не поддерживается. Бенчмарков в карточке нет.










Comments