AksharaVP-17M
сверхлёгкий синтез речи на 17.6M параметров с клонированием голоса
2 мин чтенияобновлено
AksharaVP-17M от автора sourojitdotcom — компактная модель для задачи TTS (синтез речи из текста), которая озвучивает тексты на телугу, хинди и индийском английском с частотой дискретизации 24 кГц. Внутри используются 8-слойный трансформер (15M параметров), 4-шаговый генератор латентных кадров на базе flow-matching и декодер Mimi от Kyutai (2.6M параметров) — всё упаковано в один чекпоинт без внешних вокодеров и фонемайзеров. Главная особенность на фоне более крупных аналогов вроде Hima TTS nano и Meta MMS-TTS — минимальный вес (35.3 МБ в f16 GGUF) при поддержке zero-shot клонирования голоса (копирования тембра по паре секунд аудио без дообучения). Модель пригодится разработчикам мобильных, локальных и браузерных приложений, где нет GPU.
Ключевые особенности
- Сверхмалый размер: всего 17.6M параметров в основном чекпоинте (и ещё 9.7M для опционального энкодера клонирования голоса) — один из самых лёгких мультиязычных TTS.
- Быстрая работа без GPU: синтез речи идёт в 2.6–2.9 раза быстрее реального времени на одном потоке обычного CPU и до 5.5 раз быстрее на четырёх потоках.
- 12 голосов и zero-shot клонирование: в комплекте 12 встроенных голосов, а при подключении
clone_encoder.safetensorsможно скопировать любой голос по записи длиной до 5 секунд, включая кросс-языковой перенос. - Запуск прямо в браузере: модель портирована в ONNX Runtime Web (WebAssembly) и работает полностью на стороне клиента без отправки аудио на сервер.
Что можно сделать
- Встроить офлайн-озвучку уведомлений, статей или навигации в мобильные и десктопные приложения с жёстким лимитом по памяти.
- Развернуть клиентский голосовой интерфейс прямо на веб-странице через WebAssembly без затрат на серверные видеокарты.
- Персонализировать озвучку в ботах или локальных ассистентах, клонируя нужный голос по короткому референсу длиной в несколько секунд.
Пример
from aksharavp_tts import AksharaVP
tts = AksharaVP(".")Подробнее
Бенчмарки (FLEURS dev, 100 фраз): CER (процент ошибок по символам) составил 6.04% на телугу, 4.57% на хинди и 4.37% на индийском английском.Оценка естественности UTMOS (шкала 1–5): 2.64 (te), 2.73 (hi), 3.19 (en) — речь разборчивая, но звучит более плоско, чем у крупных TTS.
Железо и форматы: не требует GPU; доступна в safetensors, f32 GGUF (70.6 МБ) и побитово близком f16 GGUF (35.3 МБ).
Ограничения: поддерживает только три указанных языка (телугу, хинди, английский) и уступает по натуральности интонаций более тяжёлым моделям.










Комментарии