FA-EG2 Persian
персидская речь через замороженный энкодер
1 мин чтения
Релиз karim23657 — это адаптация архитектуры EmbeddingGemma 2 Transcribe для распознавания персидской (фарси) речи. Аудиоэнкодер google/embeddinggemma-2 остаётся замороженным, а небольшой 6-слойный transformer-ридер на 19,6 млн параметров учится по CTC сопоставлять 40-мс soft tokens со словами из фиксированной персидской таблицы.
Ключевые особенности
- Энкодер EmbeddingGemma 2 заморожен; обучается только компактный ридер на 19,6 млн параметров.
- CTC-ридер выдаёт logits по таблице из 60 тыс. персидских слов; декодирование жадное, опционально — KenLM beam search.
- На held-out test (341 фраза, 0,43 ч): WER 18,88% без LM и 17,17% с KenLM.
- Персидская нормализация: NFKC, свёртка арабских вариантов букв, удаление диакритики, ZWNJ и пунктуации.
- В репозитории есть скрипты кэширования soft tokens, обучения, оценки WER, транскрипции и экспорта.
Пример
python transcribe_fa.py --audio sample_fa.wav --reader-dir checkpoints
python eval_wer_fa.py --model checkpoints/persian_reader.pt --cache cache_fa --splits test --word-table word_table_fa.npy --vocab vocab_fa.txt
Подробнее
Обучение: ~42 ч Common Voice fa (33 452 фразы), тест — 341 фраза (0,43 ч), не виденная при обучении.Лучший чекпойнт — эпоха 6; дальше ридер переобучается, ранняя остановка сохраняет эти веса.
KenLM даёт до +1,58 п.п. WER, но это ниже заявленной планки ≥2 п.п.; OOV на тесте — 2,3% токенов.
Явных требований к VRAM в карточке нет; обучение идёт на кэшированных soft tokens.










Комментарии