KurisuMakiseTTS
голос Макисэ Курису на GPT-SoVITS v5
1 min readupdated
Фанатский TTS-файнтюн от FishelKET на базе GPT-SoVITS v5dev и v5turbo. Японский — основной язык, китайский — кросс-языковой; выход 48 kHz. Обучен на 972 фрагментах (67,8 мин), для обучения отобрано 754 фрагмента (60,7 мин).
Ключевые особенности
- Два варианта: v5dev — лучше качество; v5turbo — быстрее, но чуть уступает из-за 4-шаговой дистилляции.
- SoVITS LoRA rank 32 + полный файнтюн GPT; обе версии используют общий GPT-чекпоинт.
- GPU RTF: ~1.08 у dev и ~0.74–0.82 у turbo.
- CPU RTF: ~32 у dev (практически непригодно) и ~3.2 у turbo; 4-секундная фраза — ~131 с против ~12 с.
- Нужна референсная аудиозапись 5–10 секунд: она задаёт в основном интонацию, а не сходство голоса.
Пример
curl http://127.0.0.1:9880/tts -H "Content-Type: application/json" -d '{
"text": "早上好,我是牧濑红莉栖。",
"text_lang": "zh",
"ref_audio_path": "ref_audio/ref1.wav",
"prompt_text": "あなたに会いに来たの、岡部凛太郎さん。じゃなくて…",
"prompt_lang": "ja",
"media_type": "wav"
}' -o out.wav
Подробнее
Веса — Apache-2.0, но права на персонажа и голос принадлежат 5pb. / MAGES. / Nitroplus и актрисе озвучивания; для коммерческого использования голоса и персонажа нужно отдельное разрешение.Обучение: SoVITS 12 эпох LoRA(r32) + GPT 15 эпох, около 8 и 6 минут на RTX PRO 6000.
Ограничение: около 73% обучающих данных — рациональная речь, эмоциональных образцов меньше.










Comments