Pocket TTS Core ML с таймстампами
озвучка с точным пословным временем
1 мин чтенияобновлено
Модель представляет собой конвертацию речевого движка Pocket TTS от Kyutai в формат Core ML для работы на устройствах Apple. Главное отличие этой версии — добавленный экспорт пословных таймстампов (времени произнесения каждого слова) прямо во время генерации речи благодаря вниманию определённых голов модели. Это пригодится разработчикам мобильных приложений и сервисов, которым нужна синхронизация озвучки с текстом, например для караоке или подсветки субтитров в реальном времени.
Ключевые особенности
- Оптимизирована под Core ML для запуска на устройствах Apple
- Добавлен вывод пред-softmax оценок внимания для получения точных таймстампов слов
- Структура файлов совместима с экосистемой FluidInference и библиотекой FluidAudio
- Базовые веса и компоненты декодеров полностью соответствуют оригинальной модели от Kyutai
Что можно сделать
- Интегрировать локальный синтез речи в iOS или macOS приложения с показом субтитров по словам
- Создать интерактивный плеер с подсветкой текста во время воспроизведения аудио
- Использовать модель совместно с библиотекой FluidAudio для быстрой работы на чипах Apple Silicon
Пример
Модель используется через совместимые библиотеки вроде FluidAudio для генерации речи из текста с одновременным получением таймстампов пословного внимания.
Подробнее
Базовая модель: kyutai/pocket-ttsБиблиотека: coreml
Лицензия: CC-BY-4.0
Особенности: переэкспортирован flowlm_step.mlmodelc с дополнительным выходом таймстампов










Комментарии