nano-edge-tts-standalone
ультралегкий синтез речи на 3.27M параметров
2 мин чтенияобновлено
Модель представляет собой полностью пересобранную и дистиллированную версию популярной TTS-архитектуры Kokoro-82M. Весь текстовый блок и декодер были созданы заново, от оригинальной модели остались только фронтенд misaki (превращающий графемы в фонемы) и 28 голосовых векторов для английского языка. Благодаря миниатюрному размеру в 3.27M параметров (против 81.8M у базы) и отсутствию тяжелых сетей на аудиочастоте, модель выдает в 29 раз более высокую скорость работы на CPU и требует всего 0.60 GB VRAM/памяти. Решение отлично подойдет для встраивания в легкие локальные боты, приложения и сервисы, где критичны ресурсы железа.
Ключевые особенности
- Миниатюрный вес: всего 3.27M параметров и 13 MB на диске против 327 MB у оригинала.
- Высокая скорость: работает в 29 раз быстрее базовой модели на одном потоке CPU.
- Низкое потребление памяти: пиковое потребление всего около 0.60 GB для всего пайплайна.
- Знакомые голоса: поддерживает 28 стандартных британских и американских голосов от Kokoro (
af_*,am_*,bf_*,bm_*).
Что можно сделать
- Локальный TTS-сервис: развернуть быструю генерацию речи в легковесном боте или приложении без мощной видеокарты.
- Интеграция в Python-скрипты: генерировать аудиодорожки на лету с помощью простого вызова функции и сохранения через
soundfile. - Озвучка текстов на CPU: использовать для фонового синтеза английской речи на слабых устройствах или серверах.
- Эксперименты с пайплайном: использовать открытый репозиторий с полным циклом обучения и чекпоинтами для изучения дистилляции аудиомоделей.
Пример
Быстрый запуск генерации речи с помощью Python:
import soundfile as sf
from nano_tts import load
tts = load() # загрузка модели на CPU
audio = tts('Hello from a very small model.', voice='bm_george')
sf.write('hello.wav', audio, 24000)Подробнее
• Параметры: 3.27M (текстовая часть 1.52M, маппер 0.96M, рендерер 0.79M)• Производительность: в 29 раз быстрее Kokoro-82M на одном CPU-потоке
• Потребление памяти: 0.60 GB пиковой памяти (вместо 1.78 GB у базы)
• Ограничения: только английский язык (28 голосов), качество звука сопоставимо с базовой Kokoro-82M
• Лицензия: Apache-2.0










Комментарии