Qwen3-ASR-1.7B-dflash2
экспериментальный ускоритель для распознавания речи
2 мин чтенияобновлено
Компактная черновая модель (draft) на 353,2M параметров для спекулятивного декодирования (метода ускорения генерации, когда лёгкая модель предлагает сразу несколько токенов вперёд, а основная их проверяет) в связке с Qwen/Qwen3-ASR-1.7B. Разработка от автора wilsonzheng0327 построена на базе опубликованной версии DFlash и дополнена динамическими каузальными свёртками и селектором кандидатов (ранжировщиком топ-16 вариантов на позицию). В отличие от базового черновика, модель использует полный словарь целевой нейросети на 151 936 токенов без собственной выходной головы. Подойдёт инженерам и исследователям, которые оптимизируют инференс ASR-систем (распознавания речи) и экспериментируют с архитектурой DFlash2 в SGLang.
Ключевые особенности
- Рост длины принятия токенов: в офлайн-тестах при жадном декодировании модель принимает на 5,0% больше токенов за раунд на коротких аудиозаписях и на 6,1% больше на длинных по сравнению с обычным DFlash.
- Новая архитектура DFlash2: к базовым 5 слоям Qwen3 добавлены групповые динамические каузальные свёртки (10,6M параметров) и селектор кандидатов (78,3M параметров), который обеспечивает основной прирост точности предсказаний.
- Без потери качества распознавания: при работе в связке с основной моделью итоговые метрики ошибок WER (1,44–1,48% для английского) и CER (0,38% для китайского) остаются неизменными.
- Честный нюанс с реальной скоростью: из-за более тяжёлого расчёта каждого раунда (+5% к стоимости шага) прирост принятых токенов в продакшн-стеке
sglang-omniнивелируется, и итоговое ускорение остаётся на уровне первой версии DFlash (до 1,70x на английском и 1,55x на китайском).
Что можно сделать
- Ускорить транскрибацию аудио: использовать модель как черновик для
Qwen3-ASR-1.7Bпри распознавании речи на английском, китайском и японском языках, получая прирост скорости до 1,26x–1,70x при разной нагрузке. - Изучить работу селектора кандидатов: протестировать поведение архитектуры DFlash2 в связке с SGLang 0.5.23 для дальнейшей оптимизации стоимости раунда в спекулятивном декодировании.
Пример
Сценарий работы: черновая модель принимает последний подтверждённый токен-якорь и за один раунд предлагает сразу 7 следующих токенов с помощью селектора кандидатов из топ-16 вариантов. Целевая модель Qwen3-ASR-1.7B проверяет предложенную последовательность, принимает совпавший префикс и добавляет один свой токен, сокращая общее число проходов тяжёлой нейросети.
Подробнее
Офлайн-метрики (средняя длина принятых токенов): 5,70 на коротких записях (против 5,43 у DFlash) и 5,91 на длинных (против 5,57).Скорость в SGLang 0.5.23 на одной GPU NVIDIA H200: 1,70x (en, concurrency 1) и 1,55x (zh, concurrency 1).
Ограничения: это пилотный релиз; стандартный
sglang-omni пока не загружает DFlash2 из коробки без локальных правок, а первый запуск компилирует ядро FlashInfer около 13 минут.Обучение и лицензия: 173 936 аудиофрагментов (16,8M токенов) в формате bf16, открытая лицензия Apache-2.0.










Комментарии