Pocket-TTS FastDec 7M
быстрый декодер для TTS на слабом CPU
2 min readupdated
Это не полноценная TTS-модель, а заменяемый декодер для Kyutai Pocket-TTS: 2.05 млн параметров, 8.2 МБ fp32. Он заменяет Mimi-декодер в английской модели english_7m_refl_2026-10, чтобы синтез шёл в реальном времени на Raspberry Pi Zero W. Языковая модель, flow head, токенизатор, голоса и Mimi-энкодер остаются от Kyutai.
Ключевые особенности
- Стоковый Mimi-декодер заменён на причинно-свёрточный: 5 residual-слоёв на 12.5 Гц и облегчённый SEANet с каналами 128/64/32/16.
- На Raspberry Pi Zero W 7M-вариант обрабатывает 4.8 с аудио за 4.7 с на GPU VC4 или 5.8 с на CPU — примерно реальное время.
- Голоса и клонирование сохраняются: Mimi-энкодер и voice embeddings не меняются, можно брать голоса из каталога Pocket-TTS или свой wav.
- Вес декодера — 2.05 млн параметров, 8.2 МБ fp32; одни и те же веса подходят для английских моделей refl_2026-10 размера 2M, 7M и 18M.
- Стриминг строго причинный: чанковое декодирование даёт то же аудио, что и разовое, с максимальной разницей 3e-6.
Пример
from pocket_tts_fastdec import load_model
tts = load_model('7m')
state = tts.get_state_for_audio_prompt('alba')
audio = tts.generate_audio(state, 'Hello world, this is a distilled decoder speaking.')
# audio — torch tensor, 24 kHz
Подробнее
UTMOS22 на 12 Harvard sentences, голос alba: 4.40 у стокового декодера → 4.23 у FastDec; в среднем по шести голосам падение около 0.25 UTMOS.WER (Whisper base.en) — в пределах шума относительно стокового варианта.
Нужны PyTorch ≥ 2.5, pocket-tts ≥ 4.0.1 и gated-веса kyutai/pocket-tts; репозиторий содержит только новый декодер.
Ограничения: только английский, качество ниже стокового, обучено и протестировано только с refl_2026-10.










Comments