Другоеatutej
dspark_grug
драфтер для Grug-67B
1 мин чтенияобновлено
Это DSpark-драфтер для спекулятивного декодирования целевой open-athena/Grug-67B-A2B-Datakit-SFT-262K-2026.09.21-dr-doom от atutej. Архитектура: 6 слоёв Grug, пять tapped-слоёв, block size 8 и уменьшенный draft-словарь на 32 000 токенов. 669.1M обучаемых параметров, 1,161.3M всего с замороженными эмбеддингами и головами.
✨ Ключевые особенности
- 🔥 DSpark: block size 8, 6 Grug-слоёв, 5 tapped-слоёв целевой модели.
- 💻 669.1M trainable-параметров; 1,161.3M всего.
- 📚 Обучен на собственных ответах Datakit SFT mixture без регенерации; 75 834 шага, около 0.20 эпохи.
- ⏩ Нужен Marin vLLM fork с поддержкой
method: dspark; для клиента спекулятивное декодирование прозрачно. - ❓ Чекпоинт не annealed: learning rate ещё 0.81 от пика, это снапшот продолжающегося запуска.
💻 Пример
vllm serve open-athena/Grug-67B-A2B-Datakit-SFT-262K-2026.09.21-dr-doom \
--speculative-config '{"model": "atutej/dspark_grug-layers6-taps5-grug-67b-a2b-datakit-sft-dr-doom_datakit-sft-mix_itw-20261108", "num_speculative_tokens": 8, "method": "dspark"}'Подробнее
На шаге 75 834: speedup 2.04× на Datakit held-out и 2.64× на MATH-500; acceptance length 3.289 и 4.122.669.1M обучаемых параметров, 1,161.3M всего; обучение — 0.20 эпохи, LR ещё 0.81 от пика.
Для запуска нужен Marin vLLM fork с поддержкой
method: dspark; чекпоинт — снапшот незавершённого прогона.
Комментарии