DSpark Grug-67B Drafter
ускоритель генерации текста для LLM
2 мин чтенияобновлено
Лёгкая модель-черновик (драфтер) на 0.75B параметров для спекулятивного декодирования (метода ускорения генерации, когда маленькая модель заранее предсказывает несколько токенов, а большая их быстро проверяет). Разработана автором atutej для работы в связке с целевой языковой моделью Grug-67B-A2B-Datakit-SFT-262K-2026.09.21-dr-doom. В отличие от предыдущей версии, обученной на полной смеси данных, этот чекпоинт тренировали без длинных финансовых отчётов (исключено 20.5% токенов), что повысило среднюю длину принимаемых последовательностей на задачах математики, кода и диалогов. Пригодится инженерам и исследователям, которые разворачивают модели семейства Grug-67B в vLLM и хотят ускорить отклик.
Ключевые особенности
- Построена на 6 плотных слоях Grug (FFN 7 936) с урезанным словарём на 32 000 токенов и предсказывает блоки по 8 токенов за шаг.
- Подключается сразу к пяти внутренним слоям целевой модели (2, 7, 12, 17, 22) и её финальному выходу, используя Markov head ранга 1024 и оценку уверенности.
- Отказ от длинных финансовых текстов
finance_v1поднял средний показатель Acceptance Length (число принятых токенов за проход, максимум 9) с 3.380 до 3.482 на наборе из шести бенчмарков. - Чекпоинт снят на шаге 73 117 из запланированных 300 412 (около 24% одной эпохи), поэтому представляет собой промежуточный снимок обучения.
Что можно сделать
- Поднять сервер инференса на базе форка
vLLMс поддержкой методаdsparkдля ускорения ответов Grug-67B-A2B в режиме размышлений (/think). - Использовать в задачах генерации кода, решения математических задач и агентских сценариях с длинным контекстом до 128K токенов (на повторах SWE-bench модель показывает Acceptance Length 3.946).
- Сравнить эффективность спекулятивного декодирования на общих доменах и длинных финансовых документах относительно базового драфтера
datakit-sft-mix.
Пример
vllm serve open-athena/Grug-67B-A2B-Datakit-SFT-262K-2026.09.21-dr-doom \
--tensor-parallel-size 1 --data-parallel-size 4 --enable-expert-parallel --max-model-len 32768 \
--speculative-config '{"model": "atutej/dspark_grug-layers6-taps5-grug-67b-a2b-datakit-sft-dr-doom_datakit-sft-filtered_itw-20261112", "num_speculative_tokens": 8, "method": "dspark", "draft_sample_method": "probabilistic", "rejection_sample_method": "standard"}'
Подробнее
Бенчмарки Acceptance Length (при temperature 1): MATH-500 — 4.273, SWE-bench replay — 3.946, GSM8K — 3.849, MBPP — 3.518, HumanEval — 3.363, MT-Bench — 2.971.Обучение: 24 часа на 2 узлах NVIDIA GB200 (6.14 млн строк, 36.58 млрд токенов, длина последовательности 32 768) с библиотекой
speculators.Ограничения: для запуска требуется сборка
vLLM из ветки grug-dspark-layers-main (PR marin-community/vllm#128), итоговое ускорение по времени относительно обычного декодирования для этого чекпоинта не замерялось.









Комментарии