chatty-tts-316m
озвучка с поддержкой смеха и эмоций на ноутбуке
2 мин чтения
Модель основана на 24-слойной архитектуре Pocket TTS от Kyutai и дообучена для разговорного английского языка с возможностью добавлять в текст невербальные теги. Главная фишка — умение модели смеяться в нужных местах по команде или менять тон с помощью специальных токенов. Модель работает прямо на процессорном железе (например, на MacBook с чипом M2 быстрее реального времени) и потребляет около 1.8 ГБ памяти. Полезно разработчикам ботов и энтузиастам локального голосового синтеза, которым нужен живой диалог без тяжелых GPU.
Ключевые особенности
- Поддержка тегов вроде
для вставки смеха в начале или конце предложения. - Работает на обычном CPU, выдавая скорость чуть выше реального времени на Apple M2.
- 316 миллионов параметров при объеме памяти около 1.8 ГБ.
- Наличие стилистических токенов для задания интонации (например,
[amused]).
Что можно сделать
- Оозвучить реплики для локального разговорного ассистента или чат-бота с живыми эмоциями и смехом.
- Протестировать генерацию речи локально через скрипты Python или окружение Colab.
- Поэкспериментировать с настройками шага сэмплирования и классификаторного руководства (CFG).
Пример
uvx hf download mktj/chatty-tts-316m --local-dir chatty-tts && cd chatty-tts
uv sync
uv run generate.py "That's the funniest thing I've heard all week. " --out out.wav
Подробнее
Бенчмарки: до 3–4 успешных срабатываний смеха из 10 на стандартных настройках.Железо: процессор Apple M2 (16 ГБ), около 1.8 ГБ VRAM/RAM.
Ограничения: только английский язык, генерация по предложениям раздельно, некоммерческая лицензия (CC BY-NC-SA 4.0).
Детали обучения: 2000 шагов на датасетах Expresso и NonverbalTTS с добавлением 27 новых токенов.










Комментарии