cdli-impaired-asr-whisper-small
распознавание речи с заиканием на руанда и английском
2 min readupdated
Эта модель автоматического распознавания речи (ASR) создана специально для расшифровки нестандартной речи людей с заиканием на языке киньяруанда и руандийском варианте английского. Она основана на архитектуре Whisper-small (0.24B параметров), предварительно дообученной на стандартной речи на языке руанда, и адаптирована автором emmilly на датасетах CDLI. На выходе система выдает дословную (verbatim) текстовую расшифровку аудио, которая для английского языка легко очищается от повторов и обрывков слов специальной постобработкой. Модель пригодится разработчикам ассистивных технологий, голосовых интерфейсов и приложений для людей с особенностями речи.
Ключевые особенности
- Двуязычная поддержка: одинаково уверенно распознает киньяруанда (точность определения языка 99.6%) и руандийский английский (99.8%) без зацикливаний в тексте.
- Специализация на заикании: обучена на реальных записях дикторов с особенностями речи и сохраняет все запинки в сыром виде для последующей программной очистки.
- Устойчивость к помехам: протестирована на устойчивость к белому, розовому и коричневому шуму, реверберации, телефонному диапазону частот и изменению темпа или высоты голоса.
- Мобильный формат: помимо стандартных весов для
transformers, в репозитории предусмотрена квантованная версия Q4_K для запуска черезwhisper.cppна телефонах.
Что можно сделать
- Встроить в мобильные приложения для коммуникации и голосового ввода с помощью квантованной версии для
whisper.cpp, чтобы помочь людям с заиканием общаться комфортнее. - Использовать в связке с модулем постобработки
cdli_common(функцияclean_disfluencies) для автоматического получения плавного, очищенного от повторов английского текста из аудиозаписей. - Применять для дословного транскрибирования интервью и исследований в области логопедии и ассистивных речевых технологий.
Пример
Для получения расшифровки через библиотеку transformers при декодировании используется жадный поиск (num_beams=1) с указанием токена языка language="sw" для руанда (согласно соглашению CDLI) и language="en" для английского. Для английского результата рекомендуется пропустить текст через правило clean_disfluencies, чтобы убрать повторы слогов и обрывки слов, тогда как расшифровка на киньяруанда постобработки не требует.
Подробнее
Базовая модель:kinyarwanda-standard-asr-whisper-small (на базе openai/whisper-small, обучена на Common Voice 27.0 и AfriVoice Kinyarwanda).Метрики на тесте (WER_per_utt): 0.272 (0.185 после очистки) для английского и 0.371 для киньяруанда; 0 зацикливаний (loops) на обоих языках.
Детали обучения: 5000 шагов (лучший чекпоинт на 4000-м), effective batch 32, learning rate 1e-05, сбалансированное смешивание языков.
Ограничения: для декодирования киньяруанда необходимо принудительно передавать тег
language="sw"; данные CDLI распространяются по лицензии проекта.









Comments