qwen2.5-3b-instruct-eagle3
ускорение генерации Qwen2.5-3B в vLLM
2 мин чтенияобновлено
Лёгкая черновая «голова» (draft head) для спекулятивного декодирования (speculative decoding — метод ускорения, при котором маленькая модель предсказывает токены вперёд, а основная их быстро проверяет) модели Qwen/Qwen2.5-3B-Instruct. Адаптер весом 0.47B параметров от автора ressf построен на архитектуре EAGLE-3 с одним слоем декодера и словарём на 32 000 токенов. В отличие от стандартного запуска базовой модели, эта надстройка ускоряет выдачу токенов до 22% при небольшой нагрузке, сохраняя качество ответов почти на исходном уровне. Пригодится разработчикам, которые разворачивают Qwen2.5-3B-Instruct на локальных или серверных GPU с низкой параллельной нагрузкой.
Ключевые особенности
- Прирост скорости генерации от +18% до +22% при одновременной работе от 1 до 16 клиентов (на RTX 5070 Ti 16 GB в FP16).
- Обучена с помощью библиотеки
speculatorsна 9 618 диалогах из UltraChat, перегенерированных самой Qwen2.5-3B-Instruct. - Средняя длина принятия черновых токенов (mean acceptance length) составляет 1.52; оптимальный режим — 1 спекулятивный токен за шаг.
- Качество на подвыборках близко к оригиналу: 0.580 против 0.585 на GSM8K и IFEval.
Что можно сделать
- Ускорить локальный сервер инференса на базе vLLM 0.29.0 для чат-ботов или ассистентов с небольшим числом одновременных запросов.
- Использовать как готовый референс и точку отсчёта для экспериментов со спекулятивным декодированием в связке с
TRITON_ATTN.
Пример
VLLM_USE_V2_MODEL_RUNNER=0 vllm serve Qwen/Qwen2.5-3B-Instruct --dtype half --attention-backend TRITON_ATTN \
--speculative-config '{"method":"eagle3","model":"","num_speculative_tokens":1,"attention_backend":"TRITON_ATTN"}'Подробнее
Скорость (output tok/s на RTX 5070 Ti 16 GB): +20% (1 клиент), +22% (2–8 клиентов), +18% (16), +11% (32), −4% (64).Метрики (с головой / без): GSM8K 0.580 / 0.585, IFEval 0.580 / 0.585, MMLU-Pro 134.4 / 136.7 из 350.
Ограничения: при высоком батче (64 клиента) и на FP8-квантованной модели на 32–64 клиентах работает медленнее базовой.
Лицензия: Qwen Research License (содержит матрицу эмбеддингов базовой модели).










Комментарии