Mithi v2 Flash

Mithi v2 Flash от Oomni — небольшая модель синтеза речи для 11 индийских языков и английского. В ней 99,1 млн параметров и 199 МБ весов, а на выходе — аудио 24 кГц моно. Доступны 10 голосов: 5 мужских и 5 женских.

💪 Ключевые особенности

• 👉 11 языков: хинди, английский, бенгальский, гуджарати, каннада, малаялам, маратхи, ория, панджаби, тамильский и телугу.
• 💪 10 голосов — Satvik, Anirban, Nakul, Vasant, Siddhant, Charvi, Ahana, Vaidehi, Malini и Jahnavi; каждый говорит на всех языках.
• 👀 99,1 млн параметров, 199 МБ, веса в bf16 safetensors.
• 🥳 Лицензия Apache-2.0: можно использовать, менять и распространять, в том числе коммерчески.
• 🐾 Запускается на GPU и CPU; длинный текст читает по предложениям.

🥳 Пример

from run import Mithi

tts = Mithi()
audio = tts.synthesize("नमस्ते! आप कैसे हैं?", lang="hi", voice="vaidehi")
tts.save(audio, "namaste.wav")

Подробнее

Бенчмарков и MOS пока нет: авторы не публиковали автоматическую оценку или исследование прослушивания.
На CPU AMD EPYC 9554 предложение примерно на 15 слов (~7 с речи) занимает ~3 с на 4 потоках и ~8 с на одном.
Ограничения: интонация и эмоции плоские; каннада, малаялам, маратхи и ория могут звучать быстрее естественной речи; панджаби с Jahnavi или Vasant менее естественен; редкие имена и заимствования могут произноситься неверно.