NVIDIA Nemotron 3.5 Transcribe

Открытая офлайн-модель NVIDIA для распознавания речи и аудио: транскрипция, перевод, диаризация, таймкоды и ответы на вопросы по записи. Гибридная MoE-архитектура Mamba-2/Transformer: 34B параметров, около 4.3B активных вместе с аудиоэнкодером, контекст 65 536 токенов и записи до часа.

✨ Ключевые особенности

• 🌍 40 языков, включая русский и украинский; транскрипция в verbatim или читаемом виде.
• 👀 Управление стилем промптом: контекстные термины, спикеры, таймкоды, перевод речи.
• ⏳ Длинные записи до 1 часа и контекст 65 536 токенов.
• 💻 Варианты BF16, FP8 и NVFP4; запуск через vLLM/NeMo Speech или Transformers.
• 🔥 Режим рассуждения включается через chat template для аудио-вопросов.

💻 Пример

import base64
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY")
audio = base64.b64encode(open("audio.wav", "rb").read()).decode()
r = client.chat.completions.create(model="nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B", temperature=0,
    messages=[{"role": "user", "content": [{"type": "text", "text": "Transcribe the following audio."},
    {"type": "audio_url", "audio_url": {"url": f"data:audio/wav;base64,{audio}"}}]}])
print(r.choices[0].message.content)