orukqwen-asr-1.7b-v2
компактное распознавание речи на базе Qwen3
2 min readupdated
Обновлённая модель для распознавания английской речи (ASR) на 2.04B параметров от команды oruk, построенная поверх Qwen/Qwen3-ASR-1.7B. Авторы взяли первую версию, провели восемь независимых прогонов обучения с подкреплением методом GSPO с фиксацией стиля транскрибации (чтобы модель не меняла манеру оформления слов-паразитов и аббревиатур ради накрутки метрик) и усреднили их веса в одну модель. В результате компактная нейросеть улучшила точность на шумных записях, встречах и аудио с дальних микрофонов AR-очков, обойдя по среднему WER на семи публичных датасетах даже более крупную NVIDIA Nemotron-3.5-Transcribe-30B-A4B. Подойдёт для расшифровки звонков, интервью и голосовых интерфейсов на английском языке.
Ключевые особенности
- Style-pinned RL и усреднение весов: модель объединяет 8 независимых GSPO-прогонов (model soup) без усложнения архитектуры и замедления на этапе инференса относительно базовой
Qwen3-ASR-1.7B. - Улучшенное декодирование из коробки: в
generation_config.jsonсразу прописан 3-beam search, защита от зацикливания (no_repeat_ngram_size=8) и запрет на 32 253 CJK-токена, чтобы английский текст не срывался в иероглифы. - Меньше пропущенных слов: на 11 080 свежих аудиоклипах, не участвовавших в обучении, модель снизила количество пропусков слов на 0.46 на каждые 100 слов.
- Гибкий выбор между скоростью и точностью: можно использовать 3-beam search для максимального качества или включить жадное декодирование (
num_beams=1) и ускорить генерацию примерно в 3.2 раза.
Что можно сделать
- Расшифровка созвонов и совещаний: модель заметно прибавила в качестве на диалогах (AMI-Cleaned) и парламентских выступлениях (VoxPopuli), поэтому хорошо подойдёт для протоколирования встреч.
- Распознавание речи в сложных акустических условиях: наибольший прирост (−0.78 WER) зафиксирован на дальних микрофонах AR-очков EasyCom и шумном датасете URGENT2024.
- Интеграция в пайплайны на Transformers или vLLM: модель поддерживает оба фреймворка, а для получения пословных таймкодов её можно связать с
Qwen/Qwen3-ForcedAligner-0.6B-hf.
Пример
from transformers import AutoProcessor, AutoModelForMultimodalLM
model_id = "oruk/orukqwen-asr-1.7b-v2"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
inputs = processor.apply_transcription_request(audio="sample.wav", language="en").to(model.device, model.dtype)
output_ids = model.generate(**inputs)
print(processor.decode(output_ids[:, inputs["input_ids"].shape[1]:], return_format="transcription_only")[0])
Подробнее
Средний WER на 9 публичных английских датасетах — 4.66% (против 4.76% у v1 и 4.94% у базовой Qwen3-ASR-1.7B).На 7 актуальных публичных наборах Open ASR Leaderboard средний WER составил 5.4219% против 5.5114% у NVIDIA Nemotron-3.5-Transcribe-30B-A4B (замер от 7–9 ноября 2026 года).
Скорость на 1× A100-SXM4-40GB в bf16: RTFx 125 с 3-beam search и RTFx 404 в режиме greedy (в vLLM по умолчанию используется greedy-путь).
Ограничения: RL-дообучение проводилось только на английском; для других языков лучше брать базовую модель, а для CJK-языков необходимо передавать
bad_words_ids=None.









Comments