irodori-tts-zh-en-aemeath
двуязычный TTS с клонированием голоса и эмоциями
2 мин чтенияобновлено
Модель синтеза речи (TTS) на 0.77B параметров от автора spinningmelon, которая умеет озвучивать текст на китайском и английском языках, включая смешанные фразы с техническими терминами. В её основе лежит японская модель Aratako/Irodori-TTS-v4.1-Small, полностью дообученная (full fine-tune) на игровых репликах из Genshin Impact и Wuthering Waves, а также синтетических диалогах о программировании. У модели нет жёстко закреплённого тембра: она копирует голос и манеру подачи из короткого референсного аудиофайла (в репозитории приложен пример голоса персонажа Aemeath), а эмодзи в начале строки задаёт нужную интонацию. Подойдёт для некоммерческих проектов, фанатской озвучки или озвучивания технических заметок со смешанной лексикой.
Ключевые особенности
- Поддерживает китайский и английский языки, в том числе их смешивание в одном предложении (например, китайская речь с английскими IT-терминами вроде PR, merge, main).
- Клонирует голос и стиль подачи по короткому аудиофрагменту длительностью в несколько секунд.
- Понимает 10 эмодзи-тегов в начале реплики (радость, злость, плач, гордость, шёпот/усмешка и др.) для управления эмоциями, хотя обучены они только на китайском языке.
- В комплекте идёт скрипт предобработки текста
frontend.py, который переводит английские слова в фонетическую транскрипцию словаря CMU и заменяет редкие китайские иероглифы на частые омофоны.
Что можно сделать
- Озвучивать технические сводки, логи или заметки о разработке со смешанной китайско-английской терминологией.
- Экспериментировать с клонированием разных голосов: достаточно подставить свой короткий референсный WAV-файл вместо стандартного
aemeath.wav. - Создавать некоммерческую озвучку фанатских роликов, регулируя настроение персонажа с помощью эмодзи в начале фраз.
Пример
python example.py out.wav "这个 PR 已经 merge 进 main 了,我们稳稳的!" 😆
Подробнее
Веса: 766M параметров (32-bit), лицензия CC BY-NC 4.0 (только для некоммерческого использования).Обучение: ~32 000 шагов (батч 32), в датасете реплики из Genshin Impact (~40 ч китайских и 8 файлов английских), 456 фраз Aemeath из Wuthering Waves, ~11 800 синтетических фраз от VoxCPM2 и 6.4 ч из набора Emilia.
Ограничения: длина одной реплики не более 256 токенов, числа нужно писать словами (цифры читаются с ошибками), в аудио вшивается водяной знак SilentCipher.










Комментарии