Kokoro-82M-CoreML-Masked
быстрый синтез речи для iOS и macOS без артефактов
3 min readupdated
Компактная TTS-модель (преобразование текста в речь) Kokoro-82M от hexgrad получила обновлённый end-to-end экспорт в формат CoreML от автора milestonemade. Обычные CoreML-сборки вынуждены дополнять короткие фразы пустыми токенами (паддингом) до фиксированной длины, из-за чего двунаправленные LSTM-слои считывают пустоту и делают речь торопливой и «дрожащей». В этой версии LSTM удерживают состояние на пустых шагах, поэтому длительность звуков и интонация полностью совпадают с оригинальной моделью на PyTorch. Релиз пригодится разработчикам под iOS 18+ и macOS 15+, которым нужен локальный офлайн-синтез голоса с естественной подачей.
Ключевые особенности
- Полный пайплайн в одном вызове: BERT, предсказание длительности, выравнивание, просодия и декодер объединены в единый граф CoreML, выдающий аудио с частотой 24 кГц.
- Четыре готовых варианта под разную длину фраз: доступны модели с окнами на 5 секунд (fp32 — 327 МБ, fp16 — 233 МБ), 10 секунд (fp16 — 234 МБ) и 15 секунд (fp16 — 236 МБ).
- Большой набор голосов: в репозиторий включены 54 готовых пресета голосов на 10 языках, а также словари и G2P-модели (перевод текста в фонемы).
- Точное совпадение с PyTorch: предсказанные длительности фонем идентичны оригиналу, а спектральная корреляция для fp16-версий достигает 0.996–0.9985.
Что можно сделать
- Встроить офлайн-озвучку в iOS- или macOS-приложение: использовать библиотеку
speech-swiftдля локальной генерации речи без отправки данных в облако. - Сделать отзывчивого голосового ассистента: взять быструю версию
kokoro_masked_5s_fp16, которая генерирует первый 5-секундный фрагмент примерно за 200 мс на CPU Apple Silicon. - Озвучивать длинные предложения без склеек: переключаться на вариант
kokoro_masked_15s_fp16, чтобы синтезировать до ~10 секунд речи за один проход с единым интонационным контуром.
Пример
import KokoroTTS
let tts = try await KokoroTTSModel.fromPretrained(
modelId: "milestonemade/Kokoro-82M-CoreML-Masked",
modelFile: "kokoro_masked_5s_fp16",
computeUnits: .cpuOnly)
let audio = try tts.synthesize(text: "Hello world, this is a Kokoro test.", voice: "af_heart")
Подробнее
• В слепых тестах на коротких фразахkokoro_masked_5s_fp16 обошла прошлую лучшую сборку kokoro_5s в 6 из 8 пар, а 15-секундная версия выиграла 6 из 6 на длинных предложениях.• Скорость одного прохода на CPU Apple Silicon: ~200 мс (5s fp16), ~270 мс (5s fp32), ~0.6 с (10s fp16) и ~0.9–1.4 с (15s fp16).
• Ограничения: fp16-модели нужно запускать строго с
.cpuOnly (на Neural Engine первая компиляция занимает ~70 минут, а работа в 5 раз медленнее); каждый проход всегда обсчитывает всё окно целиком; у версий 5s и 10s fp16 в начале прохода есть короткий всплеск шума (первые 25 мс нужно обнулять).• Требования: iOS 18+ или macOS 15+; веса и голоса распространяются под лицензией Apache-2.0, скрипты экспорта — MIT.










Comments