tiny-voca Kiswahili
легкий офлайн-синтезатор речи на суахили
2 мин чтенияобновлено
Модель представляет собой компактный инструмент синтеза речи (TTS) на суахили размером всего 4.54 миллиона параметров, предназначенный для работы прямо на слабых мобильных устройствах вроде Android-смартфонов без подключения к облаку. Основанная на архитектуре tiny-voca (source-filter вокодер с блоком длительности), модель экспортирована в формат ONNX и занимает около 21.4 МБ. Она позволяет генерировать качественную речь на суахили с поддержкой семи фиксированных голосов. Решение отлично подойдет разработчикам мобильных приложений и систем чтения с экрана, которым требуется полностью автономный голосовой движок с минимальным потреблением оперативной памяти.
Ключевые особенности
- Оптимизация под мобильные устройства: стабильная работа на бюджетных смартфонах на базе Android с минимальным потреблением RAM (71–75 МБ).
- Высокая скорость работы: синтез речи на CPU со скоростью обработки (RTF) в пределах 0.16–0.21.
- Точное выравнивание длительности: модель выдает длительности фонем прямо в процессе генерации, что позволяет легко организовывать синхронную подсветку текста.
- Компактный размер: весит всего 21.4 МБ в формате ONNX и работает без использования тяжелых облачных серверов.
Что можно сделать
- Интеграция в мобильные приложения: встроить офлайн-озвучку текста в локальные приложения и ридеры для пользователей, говорящих на суахили.
- Создание систем с подсветкой текста: реализовать интерактивное чтение конституции или учебных материалов с визуальным выделением произносимых слов в реальном времени.
- Автономные голосовые боты: развернуть легкую систему генерации аудио на недорогих серверных CPU или локальных устройствах без GPU.
Пример
Пример запуска инференса модели с помощью библиотеки ONNX Runtime в Python:
import numpy as np, onnxruntime as ort
sess = ort.InferenceSession("swahili.onnx", providers=["CPUExecutionProvider"])
audio, durations = sess.run(None, {
"tokens": np.array([tokens], dtype=np.int64),
"stress": np.array([stress], dtype=np.int64),
"voice": np.array([0], dtype=np.int64),
"speed": np.array([1.0], dtype=np.float32),
"pitch_shift": np.array([0.0], dtype=np.float32),
"pitch_range": np.array([1.0], dtype=np.float32),
})
Подробнее
Архитектура: source-filter вокодер с блоком длительности, 4 слота энкодераПараметры и размер: 4.54М параметров, 21.4 МБ (ONNX, fp32)
Частота дискретизации: 24 кГц
Ограничения: до 512 токенов и 32 секунд аудио за один вызов, числительные и аббревиатуры требуют предварительной текстовой расшифровки
Лицензия: CC-BY-SA-4.0 (веса и датасет WAXAL)










Комментарии