Аудиоklein-ml
Klein-TTS-X1.5-Flash-Lite
TTS на 0.40M параметров для CPU
1 мин чтения
Самая маленькая модель семейства Klein-TTS X1.5 от Klein ML: генератор на 400 856 параметров превращает фонемы в речь 24 kHz на английском, французском и итальянском. Вес в float32 занимает 1.6 MB, лицензия — Apache-2.0.
🔥 Ключевые особенности
- ✅ Всего 0.40M параметров и 1.6 MB в fp32 — при этом RTF на CPU 0.0066, примерно в 150 раз быстрее реального времени.
- 🦾 Архитектура в духе StyleTTS 2 / ISTFTNet, уменьшенная версия Flash и Pro; около 245K параметров — в декодере.
- 🔥 Три женских голоса: Sarah для американского английского, Camille для французского, Giulia для итальянского.
- 💥 Обучена дистилляцией на синтетической речи с GAN и WavLM feature loss.
- 🌙 Есть управление скоростью 0.9–1.1, ONNX-экспорт и пакет для Node.js; длинный текст режется на фрагменты примерно по 250 символов.
💥 Пример
from transformers import AutoModel
repo = 'klein-ml/Klein-TTS-X1.5-Flash-Lite'
model = AutoModel.from_pretrained(repo, trust_remote_code=True).eval()
out = model.tts('Hello from Klein TTS.', voice='Sarah')
model.save_wav('hello.wav', out.waveform, out.sample_rate)Подробнее
UTMOS: 4.28 public / 4.32 private; SCOREQ: 4.32 / 4.37; WER: 2.86% / 0.67% (Whisper small).CPU RTF 0.0066, GPU RTF 0.0016; выход 24 kHz mono.
Ограничения: три женских голоса, нет британского английского и испанского, нет контроля эмоций и стиля; WER — слабое место, возможны смазанные слова.
Обучение: 150 000 шагов, AdamW, bf16; это финальный чекпойнт. Бенчмарки только на английском.
Комментарии