lapwing
оценка произношения для изучающих английский
2 min readupdated
GersonHMG/lapwing — ONNX-модель для оценки произношения английского у изучающих язык, построенная на nvidia/parakeet-tdt-0.6b-v2. В ней 628M параметров: энкодер заморожен, добавлена phone-голова. Один проход по записи 16 кГц моно даёт phone posteriors и транскрипт.
Ключевые особенности
- Phone posteriors
log_probs [T, 40]на 20-мс кадрах — для goodness-of-pronunciation (GOP) scoring. - Один проход энкодера выдаёт и phone posteriors, и encoder outputs для штатных TDT decoder/joiner; транскрипт нужен только для проверки, что прочитано нужное предложение.
- Runtime 685 MB (uint8 encoder + int8 decoder/joiner); 0.24 с на 5-секундный клип при 1 CPU thread; фиксированного лимита входа нет, проверяли до 20 с.
- Гейт отсекает попытку, если CTC log-likelihood целевых phones на кадр
L(c)/Tниже −0.489; порог подобран так, чтобы принимать 2.3% попыток с неверным предложением. - Лицензия CC BY-NC 4.0 — некоммерческая; phone-голова обучена на L2-ARCTIC. GOP-пороги цветов не калиброваны.
Пример
Сценарий из карточки: ученик читает предложение вслух. Модель возвращает phone posteriors для GOP-оценки и транскрипт для проверки, что прочитано именно нужное предложение; при низком CTC log-likelihood попытка отсекается гейтом.
Подробнее
Phone error rate: 16.6% на L2-ARCTIC B и 15.4% в целом; F1 детекции ошибок произношения 0.541; GOP phone AUC 0.854.Запуск: onnxruntime ≥1.20, CPU; 685 MB, 0.24 с на 5-секундный клип при 1 потоке.
Ограничения: только английский и чтение вслух; слабее на спонтанной речи, других акцентах, шуме и дальнем микрофоне.
Лицензия CC BY-NC 4.0 — некоммерческая; phone-голова обучена на L2-ARCTIC.










Comments