byt5-fuzzy-phoneme-decode-tiny
компактный декодер для восстановления повреждённых фонемных последовательностей
2 мин чтения
Модель основана на архитектуре ByT5 (байтовой модели от Google) и имеет размер всего 17M параметров. Она решает необычную задачу: исправляет искажённые или повреждённые фонемы («поверхностную фонологию») обратно в канонический вид («каноническую фонологию»). Обучение проводилось на 1,67 млн синтетических пар, сгенерированных с помощью калибратора фонологических процессов по данным PhonBank для шести языков (английский, немецкий, французский, итальянский, нидерландский, испанский). Модель пригодится исследователям речи, разработчикам систем AAC (дополнительная и альтернативная коммуникация) и всем, кто работает со сложным распознаванием речи или речевыми нарушениями.
Ключевые особенности
- Компактность: модель весит всего около 70 МБ и имеет объём 17M параметров.
- Мультиязычность: поддерживает английский, немецкий, французский, итальянский, нидерландский и испанский языки.
- Варианты ONNX: доступны версии в fp32 и с квантованием int8 (dynamic-QInt8), которые уменьшают размер примерно в 4 раза без потери качества.
- Специализированное обучение: натренирована инвертировать реальные речевые процессы (удаление слогов, ассимиляцию, оглушение и др.).
Что можно сделать
- Интеграция в AAC: использовать как компонент ввода для систем альтернативной коммуникации, обрабатывая нечёткий или искаженный ввод речи.
- Исправление транскрипций: применять для постобработки фонемных последовательностей, полученных от систем распознавания речи с ошибками.
- Эксперименты с ONNX: запустить оптимизированные fp32 или int8 версии в собственных пайплайнах обработки звука и текста.
Пример
Пример работы модели на немецком языке (исправление оглушения):: ʔ a m p uː t iː ɡ t ə n → ʔ a m p uː t iː ʁ t ə n
Подробнее
• Точность (exact recovery): около 49% на золотом тестовом наборе (n=4000) при любой степени искажения.• Метрики: phone TER составляет 0.06–0.12 в зависимости от языка.
• Железо: очень легкая модель (~70 МБ в fp32, ещё меньше в ONNX int8), минимальные требования к VRAM.
• Данные: обучена на синтетических парах из voicegarden-lexicons с калибровкой по PhonBank.










Комментарии