CS_VITS_medical_16k
чешский TTS для медицинской речи
1 мин чтения
Многоспикерная модель синтеза речи на архитектуре VITS (Coqui TTS), обученная с нуля на чешском языке на медицинских и научных записях. Работает на 16 kHz, без фонемизатора, на графемном уровне; опубликованы веса best_model.pth.
Ключевые особенности
- 425 голосов и 104 653 клипа (143,73 ч) в обучающем корпусе.
- Вход — 51 символ, транскрипты графемные; пунктуация ограничена
. , ? !. - Обучение: 145 000 шагов; выбран чекпоинт с лучшим eval loss — шаг 26 168.
- Совместима с Coqui TTS; для загрузки нужно расширить таблицу эмбеддингов текста.
- Нет встроенной нормализации текста: числа и аббревиатуры нужно писать словами.
Пример
config = load_config("config.json")
model = setup_model(config)
state = torch.load("model.pth", map_location="cpu", weights_only=False)
voulu = state["model"]["text_encoder.emb.weight"].shape[0]
if model.text_encoder.emb.num_embeddings != voulu:
model.text_encoder.emb = torch.nn.Embedding(
voulu, model.text_encoder.emb.embedding_dim)
model.load_checkpoint(config, checkpoint_path="model.pth", eval=True)
Подробнее
Оценка на 30 синтетических фразах: CER 55,99 %, WER 86,36 %; автор отмечает, что это верхние границы из-за несовершенного ASR-судьи.Веса и конфиг — Apache-2.0. Модель не клонирует произвольный голос: сходство ограничено исходными записями.
Редкие названия лекарств и аббревиатуры могут произноситься неверно.










Комментарии