Pocket TTS language deltas
мультиязычные дельта-пакеты для движка синтеза речи
2 мин чтенияобновлено
Репозиторий содержит языковые дельты (небольшие изменения весов относительно базовой модели) для движка Kyutai Pocket TTS, используемые в Frankenstein v2 engine проекта mynah-s2s. Каждое обновление представляет собой дельту для английской базовой модели в двух вариантах архитектуры (24-слойной и 6-слойной). Разработка позволяет адаптировать компактный синтез речи (text-to-speech) под разные языки, включая русский, французский, немецкий, испанский и другие. Набор пригодится разработчикам голосовых ассистентов и локальных систем распознавания и генерации речи.
Ключевые особенности
- Поддержка множества языков, включая русский, немецкий, французский, японский и турецкий.
- Наличие вариантов с разной точностью квантования: int4, int8 и bf16.
- Поддержка двух архитектурных семейств моделей: 24-слойной (24l) и 6-слойной (6l).
- Интеграция с движком Frankenstein v2 проекта mynah-s2s.
Что можно сделать
- Интегрировать языковые пакеты в проекты на базе движка Pocket TTS для озвучки текста на русском или других языках.
- Подогнать точность и размер модели под доступные ресурсы с помощью форматов int4 или int8.
- Протестировать работу многоязычных сессий с использованием базовых весов Kyutai Pocket TTS.
Пример
Пример использования структуры пакетов и манифестов описан в документации репозитория mynah-s2s и Frankenstein v2 engine, подключающих языковые json-файлы и дельты весов для выбранного языка.
Подробнее
Размер моделей: от 67.1 MB (int4, 6l) до 660.4 MB (bf16, 24l)Бэкенд: Kyutai Pocket TTS (требуется принятие условий базовой модели)
Лицензия: CC-BY-4.0, CC-BY-SA-4.0 или MIT в зависимости от пакета










Комментарии