qwen35-l1-dspark-2l-v32k
быстрая черновая модель для ускорения генерации
2 мин чтенияобновлено
Компактная draft-модель (вспомогательная сеть, предсказывающая сразу несколько следующих токенов для ускорения основной LLM) от автора IWRITECODE. Она построена на архитектуре DSpark в библиотеке speculators, содержит всего 2 слоя трансформера (0.4B параметров) и весит 764 МБ в формате bfloat16. В отличие от стандартного подхода MTP (Multi-Token Prediction — встроенного предсказания нескольких токенов), эта модель лучше угадывает токены и обходит MTP по пропускной способности при высокой параллельной нагрузке на сервер. Пригодится ML-инженерам для ускорения инференса и снижения задержек в продакшене при большом потоке запросов.
Ключевые особенности
- Прирост скорости на 21–23%: пропускная способность увеличивается в 1.210–1.232 раза по сравнению с базовой генерацией без draft-модели.
- Высокая точность предсказаний: в среднем принимается 3.380–3.382 токена за шаг (при параметре
num_speculative_tokens = 3), что на 0.061–0.065 выше, чем у MTP. - Компактная архитектура DSpark: 2 слоя трансформера, словарь черновика на 32 000 токенов,
markov_head_type: vanilla(ранг 256) и включённый модуль оценки уверенности (enable_confidence_head). - Преимущество под нагрузкой: при высокой конкурентности запросов (192–256) модель обгоняет MTP на 20–62.8 tok/s и снижает медианную задержку p50 на 1.957 с при нагрузке 3.0 req/s.
Что можно сделать
- Ускорить инференс-сервер: подключить модель с бэкендом
TRITON_ATTN(при целевом бэкендеFLASHINFER) для обслуживания большого потока параллельных запросов. - Заменить или сравнить с MTP: использовать её в пайплайнах спекулятивного декодирования для повышения пропускной способности при конкурентности от 192 запросов и выше.
- Воспроизвести обучение: изучить
train_command.txtи проверить целостность весов поcheckpoint_sha256.txtиз репозитория для адаптации под свои задачи.
Пример
{
"model": "",
"method": "dspark",
"num_speculative_tokens": 3,
"attention_backend": "TRITON_ATTN"
}
Подробнее
Условия замеров: 2000 промптов, greedy-декодирование до EOS, 8 GPU на 3 хостах.Скорость при concurrency 192: 3067.4–3429.6 tok/s против 2542.0–2810.6 tok/s у бейзлайна (в среднем на +30.0 tok/s быстрее MTP).
При низкой нагрузке (concurrency 1–64) уступает MTP на 4.6–89.1 tok/s, раскрываясь при высокой параллельности.
Валидность JSON на 2000 запросах: 1491/2000 (против 1495/2000 без draft-модели).










Комментарии