Arete DFlash2 Drafter
ускорение больших LLM в vLLM без потери качества
2 min read
Лёгкая draft-модель (вспомогательная нейросеть для спекулятивного декодирования) на 1.92B параметров от автора SargeDev. Она заранее предсказывает блоки из 7 токенов, а основная большая модель проверяет их за один проход, что заметно ускоряет генерацию текста при полностью идентичном результате. Адаптер создан на базе incoai/Qwen3.8-27B-DFlash2 (Z-Lab DFlash2) и дообучен в течение 7 эпох на данных модели Arete-27B-Uncensored. Пригодится всем, кто разворачивает 27B-модели локально или на сервере через vLLM и хочет получить прирост скорости без деградации ответов.
Ключевые особенности
- Совместимость из коробки: работает с тремя целевыми моделями —
SargeDev/Arete-27B-Uncensored-V2, оригинальнойNousResearch/Arete-27Bи базовойQwen/Qwen3.8-27B. - 100% идентичность вывода: при жадном декодировании (greedy) модель показала 5/5 совпадений по промптам с обычным запуском без drafter.
- Высокий процент принятия токенов: в среднем модель принимает от 2.97 до 3.80 токенов за блок из 7 предложенных (draft rate до 40.0%).
- Нативная поддержка vLLM: экспортирована в формате z-lab (
DFlash2DraftModel+dflash_config) для прямого подключения через флаг--speculative-config.
Что можно сделать
- Ускорить инференс цензурированной или нецензурированной версии Arete-27B в vLLM (версии 0.28 и выше) без потери качества генерации.
- Подключить модель как спекулятивный ускоритель для базовой
Qwen/Qwen3.8-27B, где она показывает наибольшую среднюю длину принятия токенов (3.80).
Пример
vllm serve \
--speculative-config '{"method": "dflash", "model": "SargeDev/arete-dflash2-incoai", "num_speculative_tokens": 7}'
Подробнее
Бенчмарки (vLLM 0.28, кластер 2x GB10): для Qwen3.8-27B — accept_len 3.80 (draft rate 40.0%), для Arete-27B-Uncensored — 3.00 (28.6%), для Arete-27B — 2.97 (28.2%).Обучение: 7 эпох на 6 903 строках (на базе корпуса
SargeDev/jev-distill-corpus-v3), извлечение скрытых состояний со слоёв 6/20/34/48/62/64 с помощью vllm-project/speculators 0.9.0a0.Лицензия: Apache-2.0 (для базового drafter; целевая Arete-27B распространяется под cc-by-nc-4.0).










Comments