Goldfinch v0.1
крошечный TTS, который смеётся и вздыхает
1 мин чтенияобновлено
Goldfinch — разговорная англоязычная TTS-модель от Flock Speech на 11,4 млн параметров (плюс 13,5 млн у вокодера). Она не читает текст ровно, а сохраняет «uh», «you know» и неречевые звуки по тегам, работая на CPU без GPU и PyTorch.
Ключевые особенности
- Разговорная подача: филлеры, перезапуски вроде «I, I think» и теги [laugh], [breath], [sigh].
- ONNX Runtime на CPU: Linux, macOS, Windows; x86-64 и ARM64, без сети.
- 44 МБ в оптимизированной сборке: int8-декодер, fp16-энкодер и вокодер; есть fp32-вариант на 100 МБ.
- Выход 24 кГц моно; одна разговорная голосовая манера, без клонирования голоса.
- Лицензия Apache-2.0; веса вокодера Vocos — MIT.
Пример
from flockspeech import Goldfinch
tts = Goldfinch()
audio = tts('Yeah, um, [laugh] I know.')
tts.save('Well, you know, it depends.', 'reply.wav')
Подробнее
UTMOS22: 3,66 против 3,89 у реальных записей; WER 6,31%.Оптимизированная сборка: 8,5× быстрее реального времени на 1 потоке CPU и 19× на 4, пик RAM около 215 МБ.
Ограничения: только английский, один голос, слабые теги [sigh] и [noise], нет нормализации чисел и дат; произношение через espeak-ng.
Обучение: 8,3 часа данных, около 3,1 часа на одной NVIDIA T4.










Комментарии