tiny-voca-ar
компактная модель синтеза речи для классического арабского языка
2 мин чтения
Модель tiny-voca-ar представляет собой портированную версию легкой архитектуры tiny-voca, адаптированную для работы с современным стандартным арабским языком (Modern Standard Arabic). Она содержит около 4,5 млн параметров и обучена с нуля без предварительно обученных весов на синтезированных данных. На выходе получается монофонический аудиопоток с частотой 24 кГц. Модель ориентирована на автономное, локальное или встраиваемое использование в приложениях, где критичны ресурсы железа.
Ключевые особенности
- Легковесный дизайн: Всего 4,5 миллиона параметров для быстрой работы на слабых устройствах.
- Опора на огласовки: Работает исключительно с текстом, содержащим полные огласовки (ташхиль).
- Качественный голос: Оптимизирована под мужской студийный голос в слоте
M2. - Открытая лицензия: Распространяется под лицензией Apache-2.0 с атрибуцией по CC BY 4.0.
Что можно сделать
- Озвучка текстов: Создавать аудиодорожки для классических арабских текстов в офлайн-режиме.
- Интеграция в боты: Подключать компактную озвучку в локальные сервисы и приложения.
- Экспорт в ONNX: Использовать готовый экспорт модели для инференса на различных платформах.
Пример
Запуск генерации речи через Python-скрипт с помощью пакета tiny-voca:
import soundfile as sf
from tiny_voca.infer import load_model, speak_text
model = load_model("tiny-voca-ar/tiny-voca-ar.pt")
wave, _ = speak_text(model, "اِتَّصِلْ بِي عَلَى هَاتِفِي 0501234567 فِي أَيِّ وَقْتٍ.", voice="M2")
sf.write("phone.wav", wave.numpy(), 24000)Подробнее
• Архитектура и обучение: обучена на 79 955 шагах на данных из ClArTTS и Arabic Speech Corpus.• Метрики: Word Error Rate (WER) по Whisper large-v3-turbo составляет 0.0532.
• Ограничения: поддерживается только один мужской голос (слот
M2, слот F2 не обучен); текст должен содержать огласовки.









Комментарии