PiVo-1.4M

PiVo — исследовательская TTS-модель от Empero Research с двумя английскими голосами, Pi и Vo. Это полный стек с 1 401 562 обучаемыми параметрами: акустическая модель на 584 965 параметров и FARGAN-производный вокодер на 816 597 параметров выдают 16 kHz mono. Всё работает локально на CPU через NumPy и ONNX Runtime, без PyTorch и сети на инференсе.

✨ Ключевые особенности

• 🐱 Два голоса, Pi и Vo, только для английского; фронтенд ищет слова в CMU Pronouncing Dictionary и раскрывает числа, суммы в валютах, порядковые и ISO-даты.
• 💻 Полный TTS-стек на 1,4 млн параметров, включая вокодер; инференс локально на CPU через NumPy и ONNX Runtime.
• 🎨 Акустическая модель предсказывает 18 кепстральных коэффициентов, pitch и pitch correlation каждые 10 мс; вокодер собирает четыре 40-сэмпловых субфрейма на кадр.
• ⏳ iter_audio отдаёт аудио кадрами по 10 мс — воспроизведение можно начинать до конца генерации.
• ❌ Незнакомые слова без ARPAbet-override вызывают ошибку; лимит 2 000 символов / 512 токенов фронтенда, до 30 секунд на высказывание.

🐈 Пример

from pivo import PiVo

model = PiVo(".", threads=1)
model.save("pi.wav", "NASA is ready for the next mission.", voice="Pi")

audio = model.synthesize("Hello, my name is Vo.", voice="Vo", speed=1.0)
# float32 mono PCM at 16000 Hz

Подробнее

WER на отложенных данных: 0,863% (114 фраз) и 0,532% (152) по расшифровке Whisper small.en; это не общий английский бенчмарк.
Обучение: синтетические голоса созданы с Qwen3-TTS VoiceDesign, данные записаны Qwen3-TTS Base; 8 628 фраз, ~12,29 ч аудио (10,77 ч после обрезки тишины).
Инференс: CPU, NumPy + ONNX Runtime; PyTorch, speaker encoder и сеть не нужны, VRAM не требуется.
Ограничения: местами металлический или роботизированный тембр, произношение только по CMU-словарю и overrides, оценка естественности от одного слушателя.