parakeet-ctc-en-ft-10ep
ASR для английской речи с заиканием
1 мин чтенияобновлено
Это файнтюн nvidia/parakeet-ctc-0.6b на train-части CDLI Rwandan English non-standard speech. Записи сделаны в Руанде в 2026 году: в основном молодые взрослые мужчины с заиканием, тихая комната, планшет. Проект — исследование недорогого распознавания речи для людей с заиканием в Rwanda Innovation Sprint (CDLI).
Ключевые особенности
- Базовая модель — nvidia/parakeet-ctc-0.6b; веса лежат в
best.nemo. - Дообучение только на train-части; dev выбрал чекпойнт, test оценён один раз, extra не использовался.
- Узкие условия: чтение предложений и описание картинок, не разговорная речь; дети, шум, телефон и code-switching не проверялись.
- Greedy-декодирование по одной записи; CTC-модели не могут зацикливаться.
- Не для диагностики речи, идентификации дикторов и клинических/юридических решений.
Пример
Сценарий из карточки: подать тихую запись английской речи человека, который заикается (описание по картинке или чтение предложения), и получить текстовый транскрипт. Для открытой речи лучше ориентироваться на picture-prompt, а не на чтение.
Подробнее
Тест (9 дикторов): pooled WER 26,2%, CER 16,9%; dev (6 дикторов): pooled WER 32,7%, CER 22,6%.Разница меньше ~3 WER между моделями не подтверждается из-за малого числа дикторов.
До 10 эпох, early stopping по dev WER (patience 3), lr 1e-4, bf16-mixed, seed 42.
Транскрипты дословные: повторы при заикании записаны; блоки и протяжения в тексте не видны, модель может писать повторы или нет.










Комментарии