Nemotron 3.5 ASR Streaming 0.6B (CoreML)
быстрое распознавание речи для Apple Silicon
2 мин чтенияобновлено
Готовая сборка потоковой модели распознавания речи (ASR) от NVIDIA, переведённая в формат CoreML для локальной работы на чипах Apple Silicon через Apple Neural Engine (ANE — встроенный нейропроцессор в чипах Apple). За основу взята архитектура Conformer + RNN-T на 0.6 млрд параметров. В отличие от тяжеловесных серверных решений, эта версия квантована без переобучения и сразу скомпилирована в .mlmodelc для мгновенного запуска на iOS 17+ и macOS 14+. Пригодится iOS/macOS-разработчикам, которым нужна офлайн-транскрибация в реальном времени.
Ключевые особенности
- Два варианта словаря: облегчённый
latin(2828 токенов для en, es, fr, it, pt, de) и полныйmultilingual(13 087 токенов для китайского, японского и ещё более 100 языков черезprompt_id). - Четыре режима задержки: бандлы под чанки 0.56 с, 1 с, 2 с и 4 с позволяют балансировать между скоростью отклика и пропускной способностью (по умолчанию рекомендуется 2 с).
- Смешанное квантование без потери точности: крайние слои энкодера сжаты в INT8, а средние — в 6 бит, что уменьшило размер энкодера примерно на 55% по сравнению с FP16.
- Фиксы для M2 и M3: в репозиторий добавлены варианты энкодера (
encoder-v2и разделённыйencoder-split), которые корректно компилируются на Neural Engine чипов M2/M3 без падения на CPU.
Что можно сделать
- Офлайн-субтитры и диктофоны на iPhone и Mac: встроить скомпилированные бандлы в мобильное или десктопное приложение через библиотеку FluidAudio для мгновенной расшифровки речи без интернета.
- Голосовые ассистенты и локальные агенты: использовать тир 1 с (для европейских языков) или 2 с (для мультиязычного режима) как быстрый входной модуль распознавания голоса на MacBook.
- Пакетная расшифровка длинных записей: подключить бандл на 4 с для офлайн-транскрибации лекций и интервью на высокой скорости.
Пример
fluidaudiocli nemotron-multilingual-transcribe \
--input audio.wav \
--model-dir latin/2240ms \
--language de-DE
Подробнее
• Скорость на Apple M5 Pro (чанк 2 с): 130–150 RTFx для латиницы (WER 4.80%–9.83% на FLEURS) и 80–89 RTFx для мультиязычной версии; на LibriSpeech test-clean для английского — 120 RTFx при WER 3.67%.• Полнословарная версия (
multilingual) чувствительна к размеру чанка: на 0.56 с и 1 с скорость для CJK падает до 21–27 RTFx, поэтому для неё стоит брать режим 2 с.• Совместимость: iOS 17+ / macOS 14+, распространяется под коммерческой лицензией OpenMDW-1.1 (доступ к репозиторию выдаётся по запросу в Discord автора).










Комментарии