SDAR-1.7B-drafter-LoRA

Это LoRA-драфтер для 30B block-diffusion MoE JetLM/SDAR-30B-A3B-Chat-b32, дообученный на базе JetLM/SDAR-1.7B-Chat-b32. Он учится писать так, как пишет 30B, чтобы judge реже отклонял догадки и требовалось меньше перегенераций. В корне репозитория — LoRA, влитая в полный bf16-чекпоинт.

🔎 Ключевые особенности

• 📌 LoRA rank 32, alpha 64 на q, k, v, o, gate, up, down всех 28 слоёв: 34 865 152 обучаемых параметра.
• 🎯 Обучение — один проход по волнам A + B: 331 818 примеров, проверенные ответы 30B; 40% первых черновиков и 60% состояний re-draft, lr 8e-5.
• ⚙ Лосс: cross-entropy к токену 30B в каждом открытом слоте + 0.1 × KL к исходному drafter там, где он уже был прав.
• 🔔 Флаг --redraft-ban-rejected не даёт повторно предлагать токен, который judge только что отверг.
• 📦 В репозитории есть merged-веса, отдельный LoRA-адаптер (34,9M параметров), trainer checkpoint и логи обучения.

💻 Пример

curl -sL https://raw.githubusercontent.com/NoviceCoderInfinity/sdar30b-draft-judge/main/get.sh | bash -s phase4-rd1
cd sdar30b-draft-judge && . env.sh && ./run.sh phase4-rd1 all

Подробнее

Скорость vs vanilla 30B: 1,25× (rd1) и 1,26× (rd2) по wall-clock на ответ.
Drafter forwards на блок vs stock drafter: −7,6% / −5,3%.
Accuracy: 65,5 / 64,4 / 64,5 (rd1) и 65,5 / 64,9 / 64,2 (rd2) для vanilla / stock / этого drafter.
IFEval: 46,2% / 46,0% против 52,7% у vanilla; возможны repetition loops. Это только drafter, не самостоятельная chat-модель.
Оценка: 2 250 вопросов, 7 бенчмарков, plain HF harness, одна машина; merged bf16 — 4,1 ГБ, LoRA — 34,9M параметров.