К содержимому
Аудио

M5-TTS.AXERA

ускоренный синтез речи и клонирование голоса на NPU AX650

2 мин чтения

Модель представляет собой оптимизированную версию компактной нейросети M5-TTS-50M-VoiceClone (50M параметров), адаптированную для работы на аппаратных ускорителях и платах с NPU AX650. Система решает задачу zero-shot (без предварительного дообучения) синтеза речи и клонирования голоса на шести языках (включая китайский и английский) с поддержкой потокового режима. На выходе получается качественный аудиофайл или поток с минимальной задержкой. Разработка ориентирована на встраиваемые системы и краевые вычисления (edge AI), где требуется высокая скорость работы на специализированном железе без использования мощных видеокарт.

Ключевые особенности

  • Аппаратное ускорение: Полная работа на NPU чипов AX650 (6 axmodel, квантование Pulsar2 8.0 с U16/S8 и SmoothQuant).
  • Клонирование голоса: Поддержка zero-shot генерации речи по короткой референсной аудиозаписи (до 4.8 секунд).
  • Многоязычность: Поддержка китайского, английского, немецкого, французского, японского и корейского языков.
  • Низкая задержка: Потоковый режим выдает первый блок аудио (TTFA) уже от 0.37 секунды в C++ реализации.

Что можно сделать

  • Запустить на плате AX650: Развернуть локальную систему голосового ассистента или автоответчика на встраиваемом железе.
  • Клонировать голос: Синтезировать фразы на разных языках, используя короткий эталонный образец голоса и точный текст расшифровки.
  • Использовать потоковый режим: Интегрировать стриминговую генерацию речи в реальном времени с минимальным RTF (0.48–0.58).
  • Собрать C++ или Python приложение: Использовать готовые скрипты запуска и SDK для встраивания модели в собственные проекты.

Пример

import sys; sys.path.insert(0, "python")
from m5_ax import M5AX, write_wav

tts = M5AX("models", "models/assets")
wav = tts.synthesize("你好,欢迎使用我们的语音合成模型。",
                     "samples/aslp_default_voice.wav",
                     "猪携带该疾病,然后通过蚊子传染给人类。")
write_wav("out.wav", wav, tts.sr)
print(tts.last_timing)   # ttft / ttfa / rtf
ПодробнееПоддерживаемые платформы: AX650N (проверено), другие платы AX650.
Производительность: RTF 0.48–0.58 на C++ (для длинных фраз), оффлайн/стриминг режимы.
Требования к железу: Плата AX650 с SDK AXEngine 2.12 и Pulsar2 8.0.
Лицензия: Apache-2.0.
Обсудить Telegram 0

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # HY-2012/M5-TTS.AXERA
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download HY-2012/M5-TTS.AXERA --local-dir ~/models/M5-TTS.AXERA
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к M5-TTS.AXERA
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии M5-TTS.AXERA — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

HY-2012/M5-TTS.AXERA
Автор
HY-2012
Категория
Аудио
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии