Sayso
компактная модель фонетизации английских слов для Kokoro-82M
2 мин чтенияобновлено
Модель решает задачу grapheme-to-phoneme (G2P — перевод написанных слов в фонетическую транскрипцию) для неизвестных словарям английских слов: имён собственных, названий инструментов и профессионального жаргона. На выходе она выдаёт последовательность фонем в формате библиотеки misaki, поэтому результат можно напрямую передавать в популярную TTS-модель (синтез речи) Kokoro-82M. Sayso построена на лёгкой архитектуре трансформера с энкодером и декодером (5.59M параметров) от разработчика rednaSander для приложения Papegai и работает как для американского, так и для британского вариантов английского. В отличие от классического espeak-ng, она заметно точнее предсказывает произношение незнакомых слов и позволяет обходиться без тяжёлых внешних зависимостей.
Ключевые особенности
- Поддержка двух акцентов: американский (
) и британский () английский выбираются одним стартовым токеном. - Компактность и формат ONNX: всего 5.59M параметров, файлы разделены на
g2p-encoder.onnxиg2p-decoder.onnxдля быстрого инференса без PyTorch. - Прямая совместимость с
misakiи Kokoro-82M без дополнительной конвертации фонем. - Лицензия Apache-2.0, основанная на открытых словарях misaki 0.9.4.
Что можно сделать
- Заменить
espeak-ngв пайплайне озвучки текста на базе Kokoro-82M для корректного чтения редких терминов, никнеймов и названий брендов. - Встроить в локальные ридеры, голосовые ассистенты или браузерные расширения, где важен минимальный вес модели и запуск через
onnxruntime.
Пример
import json, numpy as np, onnxruntime as ort
v = json.load(open("g2p-vocab.json", encoding="utf-8"))
src_id = {c: i for i, c in enumerate(v["src"])}
enc = ort.InferenceSession("g2p-encoder.onnx")
dec = ort.InferenceSession("g2p-decoder.onnx")
ids = [src_id[""]] + [src_id[c] for c in "casanovo"]
mem = enc.run(["mem"], {"src": np.array([ids], dtype=np.int64)})[0]
# далее жадное декодирование в dec до токена -> kˌɑsənˈOvO
Подробнее
Точность на отложенной выборке: 78.0% для US (против 28.1% у espeak-ng) и 80.2% для UK (против 72.1% у espeak-ng), доля ошибок в звуках — 4.6% и 4.5%.Архитектура: трансформер (ширина 256, 3+3 слоя, 4 головы), обучен на ~356 000 пар слов за 34 минуты на одной RTX 5090.
Ограничения: длина слова до 31 символа (только буквы a-z и апостроф), обрабатывает только одиночные слова — составные слова, числа и аббревиатуры нужно разбивать заранее.










Комментарии