Silencio-2

Silencio-2 от BlueRoseLabs — компактная модель text-to-speech на английском. Это файнтюн Kyutai Pocket TTS 18M: 27,9 млн параметров в model.safetensors, из них 18,2 млн генерируют речь; все веса занимают один файл на 112 МБ. На выходе — моно 24 кГц, аудио можно стримить по мере генерации.

🔤 Ключевые особенности

• 🔤 Управление прямо в тексте: звуки [sigh], [laugh], [gasp], [cough], [clear_throat] и эмоции <happy>, <sad>, <angry>, <fear>, <surprised>, <whisper>.
• ➕ Клонирование голоса по короткому чистому референсу; есть 8 встроенных голосов.
• ✖ Неизвестный тег вызывает ошибку, а не читается вслух.
• ▶ Стриминг чанками float32; генерация примерно в 20 раз быстрее реального времени на четырёх CPU-потоках Apple M4.
• 🟰 Опция quantize=True для int8 на CPU; generate нормализует тихие дублы до уровня речи, normalize=False оставляет исходный уровень.

🔜 Пример

from silencio2 import Silencio2TTS

tts = Silencio2TTS.from_pretrained()
tts.save('sigh.wav', 'What a long day. [sigh]')
tts.save('mixed.wav', '<whisper> Keep your voice down. <angry> I said stop!')

Подробнее

Архитектура: flow-based LM предсказывает латенты кодека Mimi по тексту и голосовому промпту, по одному шагу на кадр.
Ограничения: результат меняется от сида к сиду; <whisper> — самый нестабильный тег, лучше работает на коротких фразах; только английский.
Лицензии: веса — CC-BY-4.0, код silencio2/core — MIT. Клонируйте голос только с разрешения владельца.