sherpa-onnx-whisper-small
экспорт модели Whisper для ONNX и Unreal Engine
2 мин чтенияобновлено
Модель представляет собой версию известной архитектуры Whisper Small, переупакованную в формат ONNX (открытый формат для представления моделей машинного обучения) для использования в аудиоядре плагина Sentients для Unreal Engine. Она предназначена для перевода речи в текст (Speech-to-Text) на 99 языках и оптимизирована для быстрой работы на различных рантаймах, включая CPU, DirectML и TensorRT. В комплекте идут как оригинальные файлы с плавающей точкой (fp32), так и оптимизированные половинной точности (fp16) версии энкодера. Инструмент пригодится разработчикам игр и приложений на Unreal Engine, которым требуется надежное распознавание речи прямо внутри движка.
Ключевые особенности
- Экспорт популярной архитектуры OpenAI Whisper Small с поддержкой 99 языков
- Поддержка различных рантаймов: CPU, DirectML, TensorRT и HLSL
- Наличие файлов в половинной точности (fp16) для ускорения работы энкодера
- Интеграция с компонентами голосового ввода и плагином Silero VAD для фильтрации тишины
Что можно сделать
- Внедрить голосовое управление или распознавание речи в проекты на Unreal Engine через плагин Sentients
- Использовать оптимизированные ONNX-файлы для инференса на различных аппаратных платформах без зависимостей от PyTorch
- Настроить локальную транскрипцию аудио с использованием фиксированных форм для ускоренного выполнения в специализированных рантаймах
Пример
Модель используется через компоненты плагина Sentients в Unreal Engine, выбираясь по идентификатору EAudioModel::WhisperSmall, принимая на вход CoreAudioInput и возвращая CoreTranscriptOutput вместе с модулем VAD для определения голосовой активности.
Подробнее
Формат: ONNXТочность: fp32 и fp16
Базовая модель: openai/whisper-small (экспорт через csukuangfj/sherpa-onnx-whisper-small)
Особенности: фиксированные формы для рантаймов, пиннинг файлов по SHA-256 в каталоге Sentients










Комментарии