Bayan-Arabic-TTS-v1.0

Bayan от anwar-dev — арабская TTS-модель для современного литературного арабского (MSA) на базе nvidia/magpie_tts_multilingual_357m. Дообучена через LoRA и отдельный speaker-ряд под мужской голос «Мурад» на 71,6 минуты арабской речи (633 фрагмента).

🎯 Ключевые особенности

• 🧩 LoRA r=32, α=64, dropout=0.05 на 133 слоях + шестой speaker-ряд; обучено 13,91M параметров.
• ⚙ Архитектура Transformer decoder + NanoCodec: 22,05 kHz, 21,5 fps.
• 📀 Файл модели .nemo весит 1,36 GiB; inference на RX 6700 XT 12 GB через ROCm, RTF ≈ 1,0.
• 🎯 На 32 отложенных фрагментах: CER 1,39%, WER 8,12%, сходство голоса 0,869.
• 💡 На 32 фразах MSA: CER 1,60% (0,10% после нормализации чисел), WER 2,02%, точных совпадений 28/32.

⚡ Пример

from nemo.collections.tts.models import MagpieTTSModel
model = MagpieTTSModel.restore_from("Bayan-Arabic-TTS-v1.0.nemo", map_location="cuda", strict=False).eval()
model.inference_parameters.cfg_scale = 2.5
model.inference_parameters.temperature = 0.6
audio, audio_len = model.do_tts("إِنَّ الْعِلْمَ نُورٌ.", language="ar-MSA", speaker_index=5)
# speaker_index=5 — голос «Мурад»

Подробнее

Бенчмарки: CER 1,39%, WER 8,12%, сходство голоса 0,869 на 32 отложенных фрагментах.
Обучение: 47 эпох (лучший результат на 40-й), ~85 с/эпоха, пик VRAM 7,9 GB на AMD RX 6700 XT 12 GB, ROCm 6.3, fp32.
Ограничения: лучше работает с полной огласовкой; максимум ~37 с на фразу; 22,05 kHz моно; данные синтетические из одного TTS-движка.
Лицензия: NVIDIA Open Model License.