Citrinet 256 English
лёгкая STT-модель от NVIDIA в форматах MLX и ONNX
2 min readupdated
Компактная модель распознавания английской речи (Speech-to-Text), изначально обученная компанией NVIDIA и сконвертированная для удобного запуска на разных платформах. Репозиторий представляет собой зеркало версии 2.0.0 из реестра проекта Storyteller и включает готовые веса как для универсального движка ONNX, так и для MLX (фреймворка машинного обучения от Apple для процессоров Apple Silicon). Решение подойдёт разработчикам приложений, которым нужна быстрая локальная транскрибация аудио на Mac или кроссплатформенных устройствах без лишних зависимостей.
Ключевые особенности
- Двойной формат поставки: в репозитории сразу доступны папки
mlx(веса вmodel.safetensors) иonnx(model.onnx). - Встроенная предобработка аудио: в ONNX-версию вшит mel-фронтенд, поэтому модель сама вычисляет спектрограмму из подготовленного аудиосигнала.
- База от NVIDIA: основана на оригинальной модели
stt_en_citrinet_256_gamma_0_25, сконвертированной из экспорта OpenVoiceOS. - Полный комплект файлов: обе версии снабжены конфигурацией
config.json, словарёмvocab.txtи токенизатором SentencePiece (tokenizer.spm).
Что можно сделать
- Встроить локальное распознавание английской речи в macOS- или iOS-приложения через библиотеку
mlx-audio. - Использовать ONNX-версию для быстрой транскрибации голосовых команд в офлайн-ассистентах вроде OpenVoiceOS.
- Интегрировать модель в сервис автоматической синхронизации аудиокниг и текста (как это делает платформа Storyteller).
Пример
Модель устанавливается автоматически через утилиту ghost-story в экосистеме Storyteller либо загружается напрямую из подпапок mlx или onnx для подачи предварительно обработанного аудиосигнала и получения текстовой расшифровки.
Подробнее
Оригинальная модель: NVIDIA stt_en_citrinet_256_gamma_0_25 (лицензия CC-BY-4.0)Ревизия исходного экспорта OpenVoiceOS: 3362d8d46028
Также в релизе доступны более крупные варианты: citrinet512-en и citrinet1024-en










Comments