CuteTTS.AXERA
потоковый синтез речи с клонированием голоса для NPU
2 мин чтения
Порт модели OPPOer/CuteTTS-distill (0.2B параметров) от автора HY-2012, квантованный и собранный для запуска на нейроускорителях (NPU) чипов AX650N и AX8850. Система решает задачу zero-shot клонирования тембра (копирование голоса по короткому образцу без дообучения) и выдаёт монофоническое аудио с частотой 24 кГц. В отличие от обычного построчного озвучивания, здесь реализован настоящий аудиопоток: генерация идёт непрерывно, выдавая пакеты звука каждые 160 мс. Подойдёт разработчикам встраиваемых систем, робототехники и офлайн-ассистентов на одноплатниках вроде M4N-Dock или M5Stack AI Pyramid.
Ключевые особенности
- Настоящий стриминг без нарезки фраз: потоковый декодер
vae_dec_streamхранит контекст свёрток в 18 явных тензорах состояния (0.46 МБ) и выдаёт фрагменты по 160 мс. - Полный инференс на NPU: модель разбита на подграфы
.axmodel(на базе 7-слойного Qwen3, диффузионной головы и каузального VAE), при этом доступны готовый бинарник на C++ и SDK на чистом NumPy. - Низкая задержка первого пакета (TTFT): в потоковом режиме C++ первый звук появляется через 0.59–0.69 с, а при кэшировании эталонного голоса в Python — через 0.18 с.
- Поддержка 5 языков: в метаданных заявлены английский, китайский, французский, немецкий и испанский языки (примеры в карточке приведены для английского и китайского).
Что можно сделать
- Офлайн-голосовой ассистент: развернуть на платах M4N-Dock, AI Pyramid или с картой M.2 Accelerator Card, чтобы бот начинал отвечать голосом менее чем через секунду.
- Персонализация интерфейса: кэшировать вектор диктора из 5-секундного WAV-файла и озвучивать диалоги фиксированным голосом с минимальной задержкой.
- Тонкая настройка генерации: управлять силой следованию условию (
--cfg), сидом и максимальной длительностью фрагмента (до 20.5 с за один запуск).
Пример
bash setup.sh
# Потоковый синтез на C++ (пакеты по 160 мс)
bash run_ax650.sh "The voice generated by this model sounds amazing!" samples/reference.wav out.wav --stream
# Запуск через Python SDK с настройкой CFG и сида
bash run_ax650.sh "Hello from AX650!" samples/reference.wav en.wav --python --cfg 2.0 --seed 42
Подробнее
Скорость (RTF, меньше 1 — быстрее реального времени): на фразе 10.2 с потоковый C++ даёт RTF 0.386 и TTFT 0.59 с, потоковый Python — RTF 0.479 и TTFT 0.80 с.Качество стриминга: на ПК (fp32) побитово совпадает с офлайн-декодером (cos 1.0000000), после квантования на плате SNR составляет 11.3 дБ при идентичном распознавании слов.
Ограничения: длительность референсного аудио — не более 5 с, максимальная длина одной генерации — 20.5 с.
Лицензия: Apache-2.0 (с учётом лицензий исходных компонентов OPPO/Fudan, Qwen3 и DAC).










Комментарии