GLM-5.3-Flash DSpine

Это исследовательский drafter DSpine для целевой модели GLM-5.3-Flash от Z.ai. Он предлагает до 15 токенов за раз, а GLM-5.3-Flash их проверяет, поэтому итоговый вывод остаётся собственным выводом целевой модели. Это не самостоятельная языковая модель: 5 слоёв, width 4096, block 16, 1.24B параметров в BF16.

🔍 Ключевые особенности

• 🚀 Ускоряет декодирование GLM-5.3-Flash за счёт speculative decoding: драфтер предлагает токены, target их верифицирует.
• 📌 Не предназначен для standalone-запуска — нужен как вспомогательный чекпоинт к GLM-5.3-Flash.
• ⚙ Обучен на скрытых состояниях target после слоёв 5, 14, 24, 33 и 42, плюс финальное состояние.
• 📡 В live-тесте на прозе decode C1 вырос с 34.1 до 38.7 tok/s, на structured — с 33.8 до 39.5 tok/s.
• ❗ Пока медленнее DFlash2: для обслуживания в карточке рекомендуют incoai/GLM-5.3-Flash-DFlash2.
• 🖥 Обучение шло на одном NVIDIA DGX Spark; live-замеры — на двух DGX Spark, TP=2, контекст 262K.

💬 Пример

Сценарий из карточки: при обслуживании GLM-5.3-Flash драфтер предлагает до 15 токенов, целевая модель проверяет их и оставляет свой вывод. На прозе декодирование выросло с 34.1 до 38.7 tok/s, но DFlash2 в том же тесте даёт 59.5 tok/s.

Подробнее

Offline score: 1.313, first-token accuracy 0.62.
Живой тест: prose 38.7 tok/s против 34.1 без драфтера; structured 39.5 против 33.8; DFlash2 — 59.5 и 107.9.
Железо: две DGX Spark, TP=2, контекст 262K; обучение — один DGX Spark.
Ограничения: early research checkpoint, не standalone, concurrency выше 1 не тестировали; лицензия CC BY-NC-ND 4.0.
Обучение: 4 600 шагов на Open-PerfectBlend, 5 слоёв, 1.24B параметров.