TinyVoca DDSP
сверхлёгкий синтез речи на CPU без PyTorch
2 мин чтения
TinyVoca DDSP от автора TuringLogic — компактная модель синтеза речи (TTS) для английского языка на 4,65 миллиона параметров, выдающая моно-аудио с частотой дискретизации 24 кГц. В основе лежит архитектура TinyVoca, где стандартный генератор звука заменили на DDSP (дифференцируемую цифровую обработку сигналов с 64 гармониками и фильтрованным шумом), а веса обучили с нуля на 29,6 часах записей реальных дикторов из датасета HiFi-TTS. Главное отличие от большинства современных TTS-систем — для запуска не нужны ни видеокарта, ни громоздкий PyTorch: модель весит около 25 МБ вместе со словарями произношения и работает через ONNX Runtime прямо на процессоре или в браузере. Пригодится разработчикам локальных голосовых интерфейсов, встраиваемых систем и веб-приложений, где критичны минимальный вес и мгновенный отклик на CPU.
Ключевые особенности
- Ничтожный размер: всего 4 648 907 параметров; FP32-версия в формате ONNX занимает 19,52 МБ (около 25 МБ со словарями произношения).
- Высокая скорость на CPU: на процессоре Apple M4 Pro генерация через ONNX Runtime 1.32.0 идёт в 109,9 раза быстрее реального времени (RTF 0.0091), а первая фраза синтезируется за 0,115 секунды.
- Без зависимости от PyTorch: для инференса достаточно NumPy, ONNX Runtime, SoundFile и фонемайзера dizione; поддерживается даже запуск в браузере через ONNX Runtime Web.
- Два голоса и настройка темпа: доступны два дикторских голоса (
92и6097), регулировка скорости речи и управление числом потоков CPU.
Что можно сделать
- Встроить озвучку прямо в веб-страницу: запустить модель на стороне клиента через ONNX Runtime Web без затрат на серверный GPU (исходники веб-демо включены в репозиторий).
- Добавить офлайн-озвучку в локальный скрипт или бота: озвучивать короткие английские уведомления и ответы на слабом сервере или ноутбуке с пиковым потреблением около 500 МБ ОЗУ.
- Переобучить под свой голос: использовать открытый пайплайн обучения на PyTorch из репозитория, чтобы натренировать собственную компактную DDSP-модель.
Пример
hf download TuringLogic/tiny-voca-ddsp --local-dir model \
--include 'onnx/*' 'phonemizer/*' 'onnx_infer.py' 'requirements-onnx.txt'
pip install -r model/requirements-onnx.txt
python model/onnx_infer.py --voice 92 \
--text "Hello, this runs on a CPU." --output hello.wavПодробнее
Качество распознавания (mean sentence WER через faster-whisper small.en): 13,45% на валидации (против 4,85% на живой записи), 7,33% на тесте и 1,67% на новых фразах.Ограничения: только английский язык, длина одного запроса — до 512 фонемных токенов и 3000 акустических кадров (около 32 секунд аудио), модель генерирует фразу целиком без стриминга.
Обучение: 104 000 шагов (37 833 аудиоклипа, ~3 ч 27 мин на обучающем сервере). Веса распространяются по некоммерческой лицензии CC BY-NC 4.0, код — Apache-2.0.










Комментарии