d2-static-lora-attn-r32-4k-1500-layer4

Это тренировочный чекпоинт LoRA-адаптера из проекта dyn-spec: адаптация DFlash-драфтера под Qwen/Qwen3-8B. Базовая модель драфтера — z-lab/Qwen3-8B-DFlash-b16. Это не готовый serving bundle: экспорт для DFlash пока не портирован.

📝 Ключевые особенности

• 📝 Режим обучения: fresh_lora, стадия pretraining, 1500 обновлений, seed 42.
• 👍 Чекпоинт сохранён вместе с состоянием оптимизатора, результатами и провенансом.
• 🤔 Валидация на 200 фиксированных строках: full_acc 0.5246 на шаге 0 и 0.5258 на шаге 1500.
• 🗣 Есть offline evaluation: reproduction, M4 coefficients, M7 donors, D13 similarity, D14 cost и per-row метрики.
• 🤓 В репозитории — run/ с checkpoint.pt, result.json, metrics.json, timing.json и MANIFEST.json.

⌨ Пример

Сценарий из карточки: взять checkpoint.pt из run/pretraining/d2-static-lora-attn-r32-4k-1500-layer4/, сверить файлы по MANIFEST.json и воспроизвести offline-оценку по фиксированному набору строк. Для запуска инференса нужен отдельный serving-экспорт DFlash, которого в репозитории пока нет.

Подробнее

Валидация: full_acc 0.5246 → 0.5258, τ (eal) 7.108 → 7.157.
Это тренировочный чекпоинт с optimizer state, а не готовый bundle для сервинга.
DFlash serving export ещё не портирован; требований к VRAM в карточке нет.
Данные активаций: erdem-erdem/dyn-spec-dflash-store-qwen3-8b-4k.