Audio8-ASR-0.1B-ONNX
быстрое распознавание речи на CPU
2 min readupdated
Модель переводит устную речь на английском и китайском языках в текст (задача ASR — автоматическое распознавание речи). Это экспортированная в формат ONNX версия оригинальной модели Edge0/Audio8-ASR-0.1B, которая сочетает аудиоэнкодер в стиле Whisper и компактный 8-слойный текстовый декодер Qwen2 на 0.1B параметров. Сборка адаптирована под движок sherpa-onnx, что позволяет запускать её без тяжёлых фреймворков вроде PyTorch и без видеокарты. Подойдёт разработчикам локальных голосовых интерфейсов и систем транскрибации, которым важна высокая скорость работы на обычном процессоре.
Ключевые особенности
- Полное совпадение с оригиналом: при сравнении с эталонной версией в
transformersна тестовых записях модель выдаёт идентичный текст (CER 0.000). - Высокая скорость на CPU: на процессорах Apple M-серии показатель RTF (отношение времени обработки ко времени записи) составляет 0.075–0.204, то есть 10 секунд аудио расшифровываются меньше чем за 2 секунды.
- Готовая архитектура под
sherpa-onnx: декодер использует статический KV-кэш на 512 слотов для ускорения генерации. - В архив включены все нужные файлы:
encoder.onnx(839 МБ),decoder.onnx(694 МБ) и папка токенизатора (12 МБ).
Что можно сделать
- Встроить офлайн-распознавание английской и китайской речи в десктопное или мобильное приложение на базе библиотеки
sherpa-onnx. - Использовать в связке с VAD (детектором голосовой активности) для потоковой расшифровки длинных подкастов, звонков или лекций.
Пример
recognizer = sherpa_onnx.OfflineRecognizer.from_audio8_asr(
encoder="encoder.onnx", decoder="decoder.onnx", tokenizer="tokenizer")
Подробнее
Ограничение окна: модель обрабатывает фрагменты до 30 секунд; более длинные записи нужно предварительно нарезать с помощью VAD.Сравнение с оригиналом проводилось на 5 клипах длительностью 4.7–17.6 с (китайский и английский языки).
Лицензия: CC-BY-NC-4.0 (только для некоммерческого использования, наследуется от базового чекпоинта).










Comments