Pocket-TTS-LiteRT-FP16
синтез речи и клонирование голоса на устройствах
2 мин чтенияобновлено
Этот репозиторий содержит 22 пакета моделей Pocket TTS, переведённых в формат LiteRT (легковесный движок для выполнения моделей на мобильных и периферийных устройствах) с точностью FP16 (16-битная плавающая запятая). Каждая сборка позволяет генерировать монофоническую аудиозапись с частотой 24 кГц, опираясь на короткий эталонный WAV-файл для настройки голоса. Модели охватывают 26 языков, включая официальные варианты от Kyutai, комьюнити-паки и общий индийский мультиязычный набор. Разработка пригодится разработчикам мобильных приложений и встраиваемых систем, которым требуется локальный синтез речи с возможностью клонирования тембра.
Ключевые особенности
- Поддержка 26 языков, включая английский, немецкий, французский, японский и другие.
- Веса моделей сохранены в формате FP16 с входами и выходами FP32 для стабильной работы на CPU.
- В комплект каждого пакета входят четыре .tflite графа для кодирования аудио, генерации и декодирования.
- Наличие подробного манифеста (pocket-tts-index.json) с правилами предобработки текста и контрольными суммами.
Что можно сделать
- Интегрировать локальный синтез речи с клонированием голоса в мобильные приложения под управлением LiteRT.
- Создать голосовой движок для генерации аудиофайлов по референсному образцу без отправки данных на сервер.
- Запустить пайплайн обработки текста и аудио с помощью прилагаемого блокнота Colab.
Пример
Для запуска пайплайна и генерации речи по эталонному аудиофайлу используется специальный ноутбук Google Colab из репозитория. Хост-код выполняет токенизацию текста, управление кэшем генерации и сборку итогового аудио на основе файлов пакета.
Подробнее
Выходной аудиосигнал: моно, 24 кГц.Формат весов: FP16 (графы), FP32 (входы/выходы).
Архитектура: пакеты включают токенайзер, веса и четыре .tflite файла для кодирования референса, генерации и двух стадий декодирования Mimi.
Особенности: Корейский и валлийский пакеты используют более крупные 24-слойные модели.










Комментарии