M5-TTS.AXERA
ускоренный синтез речи и клонирование голоса на NPU AX650
2 мин чтения
Модель представляет собой оптимизированную версию компактной нейросети M5-TTS-50M-VoiceClone (50M параметров), адаптированную для работы на аппаратных ускорителях и платах с NPU AX650. Система решает задачу zero-shot (без предварительного дообучения) синтеза речи и клонирования голоса на шести языках (включая китайский и английский) с поддержкой потокового режима. На выходе получается качественный аудиофайл или поток с минимальной задержкой. Разработка ориентирована на встраиваемые системы и краевые вычисления (edge AI), где требуется высокая скорость работы на специализированном железе без использования мощных видеокарт.
Ключевые особенности
- Аппаратное ускорение: Полная работа на NPU чипов AX650 (6 axmodel, квантование Pulsar2 8.0 с U16/S8 и SmoothQuant).
- Клонирование голоса: Поддержка zero-shot генерации речи по короткой референсной аудиозаписи (до 4.8 секунд).
- Многоязычность: Поддержка китайского, английского, немецкого, французского, японского и корейского языков.
- Низкая задержка: Потоковый режим выдает первый блок аудио (TTFA) уже от 0.37 секунды в C++ реализации.
Что можно сделать
- Запустить на плате AX650: Развернуть локальную систему голосового ассистента или автоответчика на встраиваемом железе.
- Клонировать голос: Синтезировать фразы на разных языках, используя короткий эталонный образец голоса и точный текст расшифровки.
- Использовать потоковый режим: Интегрировать стриминговую генерацию речи в реальном времени с минимальным RTF (0.48–0.58).
- Собрать C++ или Python приложение: Использовать готовые скрипты запуска и SDK для встраивания модели в собственные проекты.
Пример
import sys; sys.path.insert(0, "python")
from m5_ax import M5AX, write_wav
tts = M5AX("models", "models/assets")
wav = tts.synthesize("你好,欢迎使用我们的语音合成模型。",
"samples/aslp_default_voice.wav",
"猪携带该疾病,然后通过蚊子传染给人类。")
write_wav("out.wav", wav, tts.sr)
print(tts.last_timing) # ttft / ttfa / rtfПодробнее
Поддерживаемые платформы: AX650N (проверено), другие платы AX650.Производительность: RTF 0.48–0.58 на C++ (для длинных фраз), оффлайн/стриминг режимы.
Требования к железу: Плата AX650 с SDK AXEngine 2.12 и Pulsar2 8.0.
Лицензия: Apache-2.0.










Комментарии