fiato
крошечный синтезатор речи, который умеет вздыхать
2 мин чтенияобновлено
Компактная TTS-модель (преобразование текста в речь) для английского языка, которая весит всего 4,5 млн параметров и работает в 727 раз компактнее своего учителя Maya-1. Она синтезирует моно-аудио с частотой 24 кГц двумя голосами — женским (F1) и мужским (M1) — и понимает теги эмоций прямо в тексте. Вместо тяжёлого нейронного вокодера модель использует небольшой классический синтезатор, поэтому генерирует звук в 150 раз быстрее реального времени на обычном CPU ноутбука. Подойдёт разработчикам локальных офлайн-приложений, игр и веб-сервисов, которым нужна мгновенная озвучка без видеокарты и облака.
Ключевые особенности
- Поддерживает три живые реакции прямо в тексте: вздох (
), выдох () и резкий вдох от удивления (). - Основана на архитектуре tiny-voca: использует энкодер-трансформер и source-filter синтезатор (классический генератор импульсов и шума через акустический фильтр) без нейронного вокодера.
- Поставляется с готовой версией для ONNX Runtime и умеет работать локально прямо во вкладке браузера без отправки текста на сервер.
- Позволяет гибко настраивать скорость речи, сдвиг высоты тона (pitch) и его интонационный разброс.
Что можно сделать
- Встроить в браузерное веб-приложение или расширение для мгновенной озвучки английского текста полностью на стороне клиента.
- Озвучивать диалоги NPC в инди-играх или интерактивных новеллах на локальном железе, расставляя теги
идля живости реплик. - Использовать как сверхбыстрый офлайн-синтезатор для голосовых ассистентов на устройствах без GPU.
Пример
python -m fiato.infer \
--checkpoint fiato-model/fiato.pt \
--voice F1 \
--text "Well, I guess we should start over." \
--output hello.wav
Подробнее
Обучена методом дистилляции на 23,7 часах синтетической речи от модели Maya-1 (104 000 шагов на одной Nvidia L40S, бюджет всего $18.27).WER (доля ошибок распознавания через Whisper small.en): 0.0% на валидации, 0.6% на тесте и 1.0% на новых предложениях.
Скорость: ~150x от реального времени на 4 потоках CPU Apple M3 Max.
Ограничения: только американский английский, два фиксированных голоса без клонирования, нет стриминга и смеха, иностранные имена могут читаться с ошибками. Лицензия Apache-2.0.










Комментарии