Nemotron 3.5 Transcribe

Это файнтюн nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B от Flurin17 для распознавания швейцарского немецкого. 30B параметров, около 4B активных на токен (MoE); обучен на 365 часах человеческих транскрипций: LoRA-адаптеры в языковой модели и полное обновление аудиоэнкодера слиты в BF16-веса. На выходе — Swiss Standard German.

🔎 Ключевые особенности

• 🎯 17,40% WER на ASGDTS (5 750 клипов, 17 диалектных регионов) против 46,44% у базовой модели.
• 🔎 Лучший WER среди открыто доступных швейцарско-немецких моделей в оценке автора: на 2,7 п.п. лучше matildecs/whisper-large-stt4sg (20,06%) и на 3,4 п.п. — Cohere-файнтюна (20,77%).
• 🌐 Впереди Cohere и Parakeet-файнтюнов в 16 из 17 диалектных регионов.
• ⚡ На B300 с vLLM 0.32.0: до 1 154× RTFx с MTP2 speculative decoding в тюненой конфигурации; час аудио — около 3 секунд.
• 💻 Нужен data-center GPU от 80 ГБ; веса — 67,5 ГБ safetensors (BF16).
• ⚙ Запуск только через vLLM 0.32.0 с плагином NeMo Speech; обычный pip install vllm чекпойнт не загрузит.

💻 Пример

Установка окружения из карточки:

git clone https://github.com/NVIDIA-NeMo/Speech.git nemo-speech
cd nemo-speech
git checkout 7b05f096d54db47078fd1569a54d1f3ba4a4c51f
uv venv --python 3.13 .venv
UV_PROJECT_ENVIRONMENT=$PWD/.venv uv sync --extra asr --extra vllm --locked --no-install-project
uv pip install --python .venv/bin/python --no-deps -e .
uv pip install --python .venv/bin/python --no-deps av==19.0.2
source .venv/bin/activate

Подробнее

На чистой тестовой выборке из 5 238 клипов WER 17,38% (95% интервал 16,45–18,39%).
Тестировали на NVIDIA B200 и B300; базовая карточка документирует H100 80 ГБ.
FP8 и NVFP4 веса тоже сделаны, но на B300 они медленнее BF16; NVFP4 требовал нестандартный MoE kernel, поэтому опубликован только BF16.
Клипы — до 30 секунд, 16 кГц моно; редкие зацикливания лечит guardrail из карточки базовой модели.