SOV-Transcribe-1
управляемая расшифровка речи от Salesforce
2 min readupdated
Новая open-weight модель от Salesforce для нестримингового автоматического распознавания речи (ASR). В её основе лежит связка аудиоэнкодера Whisper large-v3 и языковой модели Gemma 4 26B A4B с архитектурой MoE (Mixture-of-Experts — из 26,6 млрд параметров при генерации активно только 4,6 млрд). Главное отличие от обычных распознавателей речи — возможность управлять результатом через текстовые промпты: модель умеет делать как дословную расшифровку, так и аккуратный редактированный текст с нужной пунктуацией и форматом чисел, а также опираться на переданный словарь терминов. Подойдёт разработчикам голосовых сервисов, систем диктовки и корпоративных решений, которым важен локальный деплой и контроль над данными.
Ключевые особенности
- Точное распознавание сущностей: уверенно извлекает имена, номера телефонов и адреса электронной почты.
- Устойчивость к шумам и акцентам: стабильно работает с разными акцентами английского языка и фоновым шумом.
- Гибкое управление стилем: с помощью инструкций на естественном языке можно выбрать дословную (verbatim) или литературную расшифровку, настроить заглавные буквы и формат чисел.
- Контекстные подсказки (context biasing): можно передать список имён, профильную терминологию или краткое описание темы разговора для точного распознавания сложных слов.
- Ускорение через speculative decoding: поддерживается отдельная черновая модель
SOV-Transcribe-1-DFlash, ускоряющая генерацию одиночных запросов в 2–3 раза.
Что можно сделать
- Встроить в сервисы диктовки и голосовых ассистентов, где критично без ошибок записывать контакты, email и имена.
- Использовать для расшифровки рабочих созвонов и интервью длиной до 30 минут с передачей глоссария узкоспециальных терминов.
- Развернуть локально как OpenAI-совместимый API-сервер через
vLLMдля корпоративной транскрибации без отправки аудио в облако.
Пример
import librosa
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "salesforce-sovereign-intelligence/SOV-Transcribe-1"
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForMultimodalLM.from_pretrained(model_id, trust_remote_code=True, device_map="auto")
audio = [librosa.load("meeting.wav", sr=16000, mono=True)[0]]
inputs = processor.apply_transcription_request(audio).to(model.device, dtype=model.dtype)
Подробнее
Бенчмарки: #1 среди open-weight моделей для нестримингового speech-to-text на Artificial Analysis (#7 в общем зачёте) и #2 из 23 систем на VoiceCodeBench по точности сущностей (на 12 ноября 2026).Параметры и формат: 26,6B всего (4,6B активных), точность BF16 (MoE-роутер в FP32), аудио 16 кГц длительностью до 30 минут.
Языки: английский, французский, немецкий, испанский, итальянский, португальский и нидерландский (русского нет).
Запуск и лицензия:
transformers (версии >=5.19,<5.23) или vLLM 0.32.0 через плагин из репозитория; лицензия Apache 2.0.









Comments