indicF5-best
исследовательский Telugu-TTS с голосом Swamiji
2 min read
Модель sw-voice/indicF5-best — исследовательский TTS для телугу на базе семейства F5. Это F5TTS_Base (~0,34 млрд параметров) с vocab IndicF5, дообученный под голос Swamiji: нужен референсный клип 10 с и его транскрипт. Язык — только телугу (te).
Ключевые особенности
- Few-shot TTS: копирует тембр и темп по референсному клипу; в репозитории лежит reference/p3R1wZLty6A_029.wav (10 с).
- Двухэтапный файнтюн: IndicF5 + 10 эпох на 402 клипах Navaratri, затем 1 эпоха на 83 ч телугу и ещё 5 эпох на Navaratri.
- Обязателен float32: float16 превращает веса IndicF5-семейства в шум; для телугу нужен патч токенизатора.
- Длинный текст F5 режет на фрагменты примерно по 12 с и склеивает с cross-fade 0.15 с.
- Темп берётся из референса: при этом клипе speed=0.92 даёт темп Mahabharatam; 1.0 звучит примерно на 16% быстрее.
Пример
Фрагмент инференса; переменные model, vocoder, ref_audio и ref_text — из полного скрипта карточки.
import f5_tts.infer.utils_infer as ui
wav, sr, _ = ui.infer_process(ref_audio, ref_text, TEXT, model, vocoder, 'vocos',
nfe_step=16, cfg_strength=2,
sway_sampling_coef=-1, speed=0.92,
cross_fade_duration=0.15, device=device)
Подробнее
Бенчмарки: voice similarity 96.6% от real vs real; CER/WER 1.84/8.4% на 10 ответах; в Telugu Q&A CER 1.25%, WER 5.6%.Железо: MacBook Air M5 16 ГБ — около 2 мин на минуту речи при 16 steps; A100 — около 26 с при 32 steps; RTX 3090 — один вызов за раз и 1.7 с до первого аудио.
Ограничения: нужен референсный клип и транскрипт; float32; патч токенизатора для телугу; 32 steps — полное качество, 16 — быстрее.










Comments