Qwen3-ASR-1.7B (FP8 W8A8)
быстрая квантованная модель для распознавания речи
2 мин чтенияобновлено
Модель представляет собой оптимизированную квантованную версию (FP8 W8A8) современной языково-акустической системы распознавания речи Qwen3-ASR-1.7B. Она создана для качественной транскрипции аудиофайлов, песен и разговорной речи, а также определения языка на лету для 30 языков и 22 диалектов (включая русский). За счет точечной квантизации линейных слоев декодера размер модели уменьшен более чем на треть при сохранении высокой точности. Модель поддерживает работу через удобные бэкенды transformers и vLLM (скоростной сервер генерации) для эффективного инференса.
Ключевые особенности
- Квантование FP8 W8A8: веса линейных слоев декодера сжаты в формат FP8, в то время как аудиоэнкодер и проектор остались в BF16 для сохранения акустической точности.
- Поддержка 52 языков и диалектов: уверенное распознавание речи, акцентов и песен на русском, английском, китайском и других языках.
- Единый пайплайн инференса: поддержка пакетной обработки, потокового режима и автономной транскрипции длинных аудиозаписей.
- Совместимость с vLLM: высокая скорость обработки запросов и возможность развертывания через стандартный OpenAI-совместимый сервер.
Что можно сделать
- Запустить локальный сервис транскрипции: развернуть сервер распознавания речи с помощью vLLM для обработки аудиопотоков в реальном времени.
- Транскрибировать длинные подкасты и видео: автоматизировать расшифровку многочасовых аудиозаписей с высокой скоростью и минимальными требованиями к VRAM.
- Интегрировать в голосовые боты: использовать модель в качестве бэкенда для распознавания речи пользователей в мультимодальных приложениях.
Пример
import torch
from qwen_asr import Qwen3ASRModel
model = Qwen3ASRModel.from_pretrained(
"lly0571/Qwen3-ASR-1.7B-FP8-W8A8",
dtype=torch.bfloat16,
device_map="cuda:0"
)
results = model.transcribe(
audio="[https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav](https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen3-ASR-Repo/asr_en.wav)",
language=None
)
print(results[0].text)Подробнее
Размер весов: 2.48 GB (-34.6% по сравнению с базовой версией BF16).Качество распознавания (WER на LibriSpeech test-clean): 1.64% (практически без потерь против 1.62% у оригинала).
Оптимизация: квантовано 196 линейных слоев декодера с помощью инструментов LLM Compressor.










Комментарии