StreamVoice speech models
компактные модели распознавания речи для мобильных устройств
2 мин чтенияобновлено
Коллекция лёгких моделей распознавания речи (ASR), созданных на базе архитектуры NVIDIA FastConformer (115 миллионов параметров) для Android-приложения StreamVoice. Модели оптимизированы под формат ggml и квантованы до 5 бит (q5_0), что позволяет эффективно запускать их на мобильных устройствах с сохранением расстановки знаков препинания и заглавных букв. В репозитории представлены отдельные файлы для разных языков, включая русский, английский и другие европейские языки. Решение пригодится разработчикам мобильного софта и энтузиастам, которым требуется быстрая автономная расшифровка аудио.
Ключевые особенности
- Поддержка языков: Набор включает отдельные файлы для русского, арабского, французского, немецкого и других языков.
- Оптимизация под ggml: Веса исходных моделей NeMo конвертированы в формат ggml с квантованием q5_0 для мобильных чипов.
- Компактный размер: Модели на 115M параметров обеспечивают высокую точность при минимальном потреблении ресурсов.
- Сохранение пунктуации: Поддержка автоматической расстановки знаков препинания и заглавных букв в транскрипции.
Что можно сделать
- Интеграция в Android: Использовать файлы моделей в мобильном приложении StreamVoice или аналогичных ggml-совместимых ASR-клиентах.
- Автономное распознавание: Настроить локальную расшифровку голосовых заметок и аудиосообщений на русском языке без отправки данных в облако.
- Тестирование производительности: Проверить скорость работы 5-битных квантованных моделей FastConformer на мобильном железе.
Пример
Модели предназначены для использования в составе Android-приложения StreamVoice и не предполагают запуск через стандартные Python-скрипты Hugging Face. Для работы используются готовые бинарные файлы с расширением .bin (например, streamvoice-asr-ru-q5_0.bin для русского языка).
Подробнее
• Базовые модели: NVIDIA FastConformer Hybrid Large PC (лицензия CC-BY-4.0).• Архитектура: 115М параметров, конвертация из NeMo в формат ggml с использованием TDT-декодера.
• Квантование: 5 бит (q5_0); 4-битная версия не использовалась из-за падения точности.
• Ограничения: Дополнительное переобучение весов не проводилось, файлы адаптированы строго под мобильный движок приложения.










Комментарии