keys-GLM-5.3-DFlash2-ft8
ускоритель генерации для GLM-5.3
2 min readupdated
Это дообученная черновая модель (drafter) на базе incoai/GLM-5.3-DFlash2 (2.46B параметров) от автора drowzeys. Она не работает самостоятельно, а используется внутри серверов инференса для speculative decoding (спекулятивного декодирования — метода ускорения, когда лёгкая модель накидывает черновик токенов, а основная большая модель zai-org/GLM-5.3 быстро их проверяет без потери качества). В отличие от базового драфтера, веса этой версии дообучили «on policy» на реальных скрытых состояниях запущенной GLM-5.3, чтобы модель лучше угадывала токены именно в рабочих условиях. Подойдёт тем, кто разворачивает квантованную GLM-5.3 локально или на своём сервере и хочет выжать больше токенов в секунду.
Ключевые особенности
- Архитектура без изменений: 6 слоёв, размер блока 8, ранг селектора 256 — полностью совпадает по формату файлов (
config.json,model.safetensors) с базовым драфтером. - Обучение on-policy: дообучена на ~2900 последовательностях (проза, код и диалоги с длинным контекстом), снятых с работающей целевой модели.
- Без потерь качества: как и базовый драфтер, сохраняет lossless-декодирование — целевая модель либо принимает, либо отклоняет предложенные токены.
- Прирост принятых токенов: на прозе с контекстом 32K модель выдаёт 2.099 принятого токена за раунд против 2.029 у базовой
GLM-5.3-DFlash2(около +3.5%).
Что можно сделать
- Заменить стандартный драфтер при запуске GLM-5.3: подставить этот репозиторий вместо
incoai/GLM-5.3-DFlash2в настройках сервера инференса (например, SGLang). - Ускорить генерацию кода и длинных текстов: использовать в связке с EXL3-квантованной версией GLM-5.3 для более быстрой работы на длинном контексте вплоть до 120K токенов.
Пример
--speculative-draft-model-path drowzeys/keys-GLM-5.3-DFlash2-ft8
Подробнее
Скорость на 4× NVIDIA DGX Sparks (TP=4, EXL3 2.75 bpw, draft depth 7): до 44.8 tok/s на коде и 39.1 tok/s на прозе (39.4 и 31.2 tok/s на контексте ~120K).Обработка промпта: 1 196 tok/s на 32K и 1 061 tok/s на 128K контекста.
Ограничения: замеры проводились только на 2.75 bpw EXL3-кванте на DGX Sparks; работа на SGLang, vLLM и других квантованиях (например, NVFP4) автором не тестировалась.
Лицензия: Apache 2.0 (для целевой GLM-5.3 действует её собственная лицензия).










Comments