omniASR CTC 1B v2 для креольского
диктовка на ПК
1 min readupdated
Это ONNX-конверсия Meta omniASR_CTC_1B_v2, квантованная в int8 для sherpa-onnx. Voxlar использует её в бете Kreol для диктовки на креольском (Kreol Morisien) и в смеси с французским и английским — локально на компьютере пользователя. Файл модели — около 1,03 ГБ.
Ключевые особенности
- Основа — omniASR CTC 1B v2 от Meta; конверсия в ONNX и int8 для sherpa-onnx.
- Поддержка Kreol Morisien, а также креольского с французским и английским.
- Локальная диктовка: вход 16 кГц моно, вывод строчными без пунктуации.
- На тесте из 20 клипов (985 слов) общий WER 29,2%; только креольский — 22,8%.
- На ноутбучном CPU с 16 потоками, задействовано 8 потоков — около 2,3 с на 10 с речи, память около 1,1 ГБ.
Пример
config.model_config.omnilingual.model = "model.int8.onnx"
config.model_config.tokens = "tokens.txt"
Подробнее
WER на 20 клипах диктовки одного носителя (985 слов): 29,2% в целом; Kreol only — 22,8%; Kreol + French — 38,8%; Kreol + English — 27,2%.Слабое место — французские слова внутри креольского: 59% ошибок на таких участках.
Скорость: ~2,3 с на 10 с речи на CPU; память ~1,1 ГБ. Лицензия Apache 2.0, конверсия не сделана и не одобрена Meta.










Comments