egy-g2p-byt5-accent
IPA для египетского арабского с выбором акцента
2 мин чтения
Экспериментальная G2P-модель для египетского арабского: переводит текст в IPA и позволяет управлять акцентом — Cairo, Sharqia, Sohag или Aswan. Это полностью дообученный google/byt5-small (300M, byte-level) на датасете egy-g2p-dialects.
Ключевые особенности
- Четыре тега акцента:
arz_cairo,arz_sharqia,arz_sohag,arz_aswan. - Вход — sentinel-токен акцента перед UTF-8 байтами текста; для кодирования и декодирования нужен
g2p_byt5_lib.pyиз репозитория. - На held-out: PER 0.0552, WER 0.2423, точное совпадение предложений 16.08%.
- Когда эталонные чтения для двух акцентов различаются, модель следует нужному тегу в 98.0% случаев.
- Слабое место: при одинаковых эталонах модель всё равно выдаёт разные строки в 23.2% пар.
Пример
import sys
from huggingface_hub import snapshot_download
from transformers import T5ForConditionalGeneration
path = snapshot_download('masterofaudio2077/egy-g2p-byt5-accent')
sys.path.insert(0, path)
import g2p_byt5_lib as L
model = T5ForConditionalGeneration.from_pretrained(path)
print(L.g2p(model, ['قال لي إن القهوة جاهزة'], 'arz_sohag', 'cpu', beams=4))
Подробнее
Бенчмарки: PER 0.0552, WER 0.2423, exact match 16.08% (beam 4); у oracle «copy Cairo» — 0.0182 / 0.1017 / 61.77%.Обучение: 1 750 предложений × 4 акцента = 7 000 строк, 12 эпох; опубликованы веса лучшей эпохи (4-я по validation PER).
Ограничения: IPA-разметка сгенерирована LLM и не проверена носителем; в данных только два основных чтения (Cairo = Sharqia, Sohag = Aswan); длинный текст, код-свитчинг, числа, имена и огласованный ввод не тестировались.
Лицензия весов — Apache-2.0.










Комментарии