TTS-models
офлайн-синтез речи на вонту и хакка
2 min readupdated
Репозиторий hkilang/TTS-models содержит ONNX-модели для чтения вслух на гонконгском вонту и хакка. В офлайн-режиме приложение использует их для генерации аудио прямо внутри устройства. Доступны четыре голоса: мужской и женский для каждого из двух языков.
Ключевые особенности
- BERT-free VITS2, ONNX opset 17 и float32; один граф включает duration prediction, alignment и waveform generation.
- Четыре голоса: waitau male/female и hakka male/female; для каждого нужны model.onnx и model.data.
- Выход — 44,1 кГц; batch size фиксирован на 1, длина токенов и длительность динамические.
- Входы: phone IDs, длины, speaker ID, tone, language, speed 0.5–2, noise 0.8 и noise_w 0.6.
- Загрузка в браузере через ONNX Runtime Web 1.30.0 JSPI; JSPI не материализует весь файл весов в JS при инициализации, но память под веса и активации всё равно занята.
- manifest.json хранит checksums, ABI и таблицы символов; validation.json для инференса не нужен.
Пример
Экспорт четырёх голосов из исходников TTS-API:
python -m pip install -r requirements-export.txt
python export_models.py --source /path/to/TTS-API --output /path/to/output
Подробнее
Валидация включает проверки ONNX-графа и parity при 1/2/10 слогах и скоростях 0.5/1/2; max abs error 1e-3, RMSE 1e-4.Экспорт проверен на Python 3.13, PyTorch 2.9.0, NumPy 2.2.0, ONNX 1.20.1 и ONNX Runtime 1.23.2.
Карточка не подтверждает качество на слух и требования к памяти на мобильных; VRAM не указана.










Comments