KirillFPV/nemotron-transcribe-parts
Nemotron 3.5 Transcribe в удобных шардах до 5 ГБ
2 min readupdated
Это перепакованная без потерь версия аудио-языковой модели nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B, разбитая на 17 отдельных файлов формата safetensors. Оригинальный релиз от NVIDIA весит 67,5 ГБ одним монолитным файлом, из-за чего его сложно скачать по HTTPS при сетевых ограничениях или лимитах на размер файла — автор решил эту проблему, сохранив исходную точность BF16 и все веса без квантования. Сама модель предназначена для офлайн-распознавания и перевода речи на 40 языках, включая русский, а также умеет определять спикеров и отвечать на вопросы по аудиозаписям длиной до одного часа. Подойдёт разработчикам и исследователям, которым нужен точный мультиязычный ASR (система распознавания речи) и стабильная загрузка весов в стандартных библиотеках.
Ключевые особенности
- Удобное шардирование: вместо одного файла на 67,5 ГБ используется 17 шардов размером менее 5 ГБ каждый и индекс
model.safetensors.index.jsonдля всех 1395 тензоров. - Без потери качества: байты весов, типы данных и конфигурация полностью идентичны оригиналу в BF16, целостность проверена контрольными суммами SHA256.
- 40 языков и часовые записи: модель поддерживает контекст до 65 536 токенов, работает с аудио длительностью до 60 минут и понимает русский, английский и ещё 38 языков.
- Гибридная архитектура MoE: из 34B общих параметров (включая аудиоэнкодер) при генерации активируется около 4,3B, а также поддерживается режим рассуждений (
enable_thinking).
Что можно сделать
- Расшифровка встреч и подкастов: транскрибировать длинные записи с разделением по спикерам, расставленными знаками препинания и таймкодами слов.
- Работа со сложной терминологией: передавать в промпте список имён и профильных терминов (контекстная транскрибация) для точной расшифровки технических созвонов.
- Анализ и перевод аудио: переводить иностранную речь в текст или задавать модели вопросы по содержанию записи с включённым режимом рассуждений.
Пример
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "KirillFPV/nemotron-transcribe-parts"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
inputs = processor.apply_transcription_request("audio.wav").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=256)
Подробнее
Метрики оригинала: средний WER 4,62% на Multilingual Open ASR Leaderboard (7 языков) и 10,98% на длинных записях.Железо: для развёртывания BF16-версии в vLLM рекомендуется 1× H100 80 GB.
Ограничения: модель работает только в офлайн-режиме (не для потокового распознавания в реальном времени); при скачивании через CLI может потребоваться флаг
HF_HUB_DISABLE_XET=1.Лицензия: OpenMDW-1.1 (разрешено коммерческое и некоммерческое использование).










Comments