OmniVoice-Africa

OmniVoice-Africa — это TTS-модель от команды Ghana NLP / AfriSpeech, адаптация k2-fsa/OmniVoice. База — Qwen3-0.6B и 8-слойный дискретный кодек HiggsAudio; итоговый размер — около 0,81 млрд параметров. Модель синтезирует речь на 93 африканских языках и английском, включая Twi, Hausa, Yoruba, Swahili, Zulu, Igbo, Amharic и другие.

🔥 Ключевые особенности

• 🌎 93 африканских языка и английский: от Twi и Hausa до Zulu, Igbo, Amharic и Shona.
• ✅ Фонетическая обработка IPA через africa-g2p и espeak-ng снижает неоднозначность произношения.
• 🎧 Zero-shot клонирование голоса по референсному аудио 3–5 секунд.
• ⏰ Настроенный темп речи: speed=0.85, около 145 слов в минуту, для естественного звучания.
• 💻 Обучение на 897 часах речи AfriSpeech (387 175 фраз).

💻 Пример

import soundfile as sf
from omnivoice.models.omnivoice import OmniVoice
model = OmniVoice.from_pretrained('AfriSpeech/omnivoice-africa', device_map='cuda:0')
audios = model.generate(
    text='Akwaaba! Yɛfrɛ me Kofi, mepɛ sɛ mereka Twi kyerɛ wo nnɛ.',
    language='twi',
)
sf.write('twi_output.wav', audios[0], model.sampling_rate)

Подробнее

Обучение: 897 ч речи (387 175 фраз), LoRA RSLoRA r=32, α=64, merged в Qwen3-0.6B; лучший validation loss — 3.7184.
Железо: обучение на NVIDIA H200 (140 ГБ VRAM, bf16 + TF32); требования к VRAM для инференса в карточке не указаны.
Ограничения: для английского нужен espeak-ng; русский язык не поддерживается. Бенчмарков в карточке нет.