Qwen3.8-27B-DFlash2
модель-драфтер для ускорения генерации Qwen3.8-27B
2 мин чтенияобновлено
DFlash 2 — это вспомогательная модель (драфтер) для speculative decoding (спекулятивного декодирования, метода ускорения генерации токенов), созданная для языковой модели Qwen/Qwen3.8-27B. Она не работает как самостоятельный чат-бот, а запускается в составе сервера генерации, предсказывая целые блоки токенов за один проход для последующей проверки базовой моделью. Метод основан на блок-диффузии и двухшаговых динамических свертках, что обеспечивает полностью без потерь (lossless) результат: жадная генерация и распределение сэмплирования полностью совпадают с оригинальной моделью. Решение подойдет для развертывания в производственных сервисах с высокими требованиями к скорости ответа.
Ключевые особенности
- Ускорение генерации до 3.43× по сравнению с обычной авторегрессионной генерацией на тех же задачах.
- Блок-диффузионный драфтер, предсказывающий целый блок токенов за один проход.
- Полная безпотерьность (lossless): точное совпадение с распределением и результатами целевой модели.
- Улучшенная длина принятия токенов по сравнению со стандартными методами вроде MTP и DSpark.
Что можно сделать
- Запустить сервер генерации через SGLang, подключив модель как спекулятивный драфтер для Qwen/Qwen3.8-27B.
- Настроить развертывание в vLLM с использованием параметров спекулятивной конфигурации для ускорения обработки запросов.
- Протестировать производительность на задачах кодинга и математики (HumanEval, MATH-500, GSM8K).
Пример
Запуск сервера с помощью SGLang:
python -m sglang.launch_server \
--model-path Qwen/Qwen3.8-27B \
--speculative-algorithm DFLASH \
--speculative-draft-model-path incoai/Qwen3.8-27B-DFlash2 \
--speculative-num-draft-tokens 8Подробнее
Бенчмарки (на одном NVIDIA H200): ускорение на GSM8K достигает 3.43× (236.1 tok/s против 68.9 tok/s при конкьюренси 1), на MATH-500 — 3.34×.Размер блока спекуляции: 8 токенов (7 драфт-токенов за шаг проверки).
Совместимость: движки SGLang и vLLM.










Комментарии