pingo-ptbr
ультракомпактная модель синтеза речи на бразильском португальском
2 мин чтения
pingo-ptbr — это миниатюрная система преобразования текста в речь (text-to-speech) общим весом всего 0,87 МБ, включающая две голосовые модели (женскую F_s4 и мужскую M_sm4) со встроенным вокодером. Модель состоит из акустического модуля и замороженного вокодера FARGAN, которые преобразуют текст в моно-аудио с частотой 16 кГц без необходимости подключения к сети или тяжелых библиотек. Разработка ориентирована на локальный запуск прямо в браузере с помощью ONNX Runtime Web или на процессоре через MLX на устройствах Apple Silicon.
Ключевые особенности
- Микроскопический размер: суммарно около 1,08 млн параметров, а веса упакованы в один файл размером 0,87 МБ за счет покадровой квантизации от 5 до 8 бит.
- Работа в браузере: поддерживает экспорт в ONNX-графы для инференса на стороне клиента с полным сохранением конфиденциальности.
- Высокая скорость: работает на CPU и на Apple Silicon (скорость около 24x от реального времени на чипе M4).
- Специализация: разработана исключительно для бразильского португальского языка со встроенной нормализацией текста и заменой англицизмов для правильного произношения.
Что можно сделать
- Интегрировать легкую голосовую озвучку в веб-приложения и сайты без нагрузки на сервер.
- Запускать локальный синтез речи на слабых CPU, мобильных устройствах или в офлайн-скриптах на Python.
- Создавать приватные локальные чат-боты и ассистенты для пользователей, говорящих на бразильском португальском.
Пример
import sys; sys.path.insert(0, "pingo")
import speak, soundfile as sf
model = speak.Pingo("weights/pingo-ptbr.bin")
audio = speak.speak(model, "Olá! Esta é a voz da SemFence.", voice="M_sm4", speed=1.0)
sf.write("hello.wav", audio, 16000)
Подробнее
Берчмарки WER на подмножестве MiniMax pt: около 0.95% (F_s4) и 1.00% (M_sm4).Требования к железу: обычный CPU или Apple Silicon, отсутствие зависимости от PyTorch при инференсе.
Ограничения: поддерживает только бразильский португальский язык, вокодер с частотой 16 кГц дает характерный телефонный тембр звучания.










Комментарии