YourTTS
мультиязычная модель синтеза речи и клонирования голоса
1 мин чтенияобновлено
Модель YourTTS на базе архитектуры VITS поддерживает английский, французский и бразильский португальский языки. Она позволяет клонировать голос по короткой аудиозаписи (zero-shot) или использовать встроенных дикторов. Чекпоинт адаптирован для работы с библиотекой coqui-tts и включает исправления путей к энкодеру динамиков и файлу конфигурации спикеров. Модель подходит для создания голосовых ассистентов, локализации контента и озвучки на поддерживаемых языках.
Ключевые особенности
- Поддержка zero-shot клонирования голоса по нескольким секундам референсного аудио
- Работа на трёх языках: английском, французском и бразильском португальском
- Использование архитектуры VITS с языковыми и внешними эмбеддингами спикеров
- Встроенные спикеры и возможность подключения внешнего энкодера
Что можно сделать
- Озвучить текст на английском, французском или португальском языке с помощью встроенных дикторов
- Клонировать любой голос по короткой чистой аудиозаписи без фонового шума
- Интегрировать синтез речи в пайплайны и приложения через библиотеку coqui-tts
Пример
from TTS.api import TTS
tts = TTS("tts_models/multilingual/multi-dataset/your_tts")
tts.tts_to_file(
text="Ceci est un test de synthèse vocale.",
speaker_wav="reference.wav",
language="fr-fr",
file_path="output.wav",
)
Подробнее
Архитектура: YourTTS (VITS с языковыми и внешними эмбеддингами), выход 16 кГцВходные данные: символы без фонимизатора, нормализация через multilingual_cleaners
Ограничения: чтение по символам может искажать редкие слова и цифры; французский и португальский обучались на малом числе спикеров
Лицензия: CC BY-NC-ND 4.0 (только некоммерческое использование)










Комментарии