PsarAI-Speech-Flash
лёгкий мультиязычный синтез речи на 257 МБ
2 мин чтенияобновлено
Компактная и быстрая TTS-модель (преобразование текста в речь) от автора nphearum, выделенная из более крупного пакета PsarAI-Speech. Она озвучивает тексты на кхмерском, английском и французском языках, включая смешанные фразы, выдавая аудио с частотой дискретизации 24 kHz. В отличие от полной версии весом 3.2 GB, эта сборка занимает всего 257 MB за счёт отказа от модуля распознавания речи (ASR) и продвинутого клонирования голоса. Подойдёт разработчикам, которым нужен быстрый и лёгкий голосовой движок с поддержкой переключения языков внутри одного предложения.
Ключевые особенности
- Поддержка трёх языков (кхмерский, английский, французский) и кодового переключения в рамках одной фразы.
- Компактный размер 257 MB вместо 3.2 GB у полной версии PsarAI-Speech при сохранении качества синтеза.
- Встроенный голос по умолчанию (Jarvis) или адаптация под тип голоса из короткого аудиопримера с помощью энкодера CAM++.
- Пайплайн на базе speaker-conditioned T2U (1000 юнитов mHuBERT-147 + 4-gram beam search) и вокодера HiFi-GAN с управлением высотой тона.
Что можно сделать
- Встроить в голосовых ассистентов или ботов для озвучивания ответов на английском и французском без высоких требований к памяти.
- Использовать в локальных и десктопных приложениях (есть также версия GGUF для audio.cpp) для быстрой генерации речи с заданным тембром — мужским, женским, высоким или низким.
- Озвучивать двуязычные тексты и диалоги, где кхмерская речь плавно чередуется с английскими или французскими вставками.
Пример
from psarai_speech import Speech
speech = Speech()
wav = speech.tts("សួស្តី លោក។ Bonsoir, monsieur.")
wav = speech.tts("Good evening, sir.", voice="reference.wav")
Подробнее
Качество: при проверке на 12 тестовых фразах ASR CER составляет 7.3% для float16 против 7.7% у float32 (7 из 12 записей идентичны с корреляцией выше 0.999).Ограничения: перенос голоса копирует только общий тип, высоту тона и ритм, а не личность диктора (для zero-shot клонирования нужна полная PsarAI-Speech).
Формат весов: T2U и вокодер хранятся в float16, вычисления идут в float32.
Зависимости и лицензия: требуются torch, safetensors, kenlm, numpy, soundfile, soxr (torchaudio для параметра voice); лицензия CC-BY-NC-4.0 (только для некоммерческого использования).










Комментарии