Другоеvanshnawander
Dream-v0-Base-7B SliceGPT 40% LoRA
сжатый 7B-чекпоинт с адаптером
1 мин чтения
Это 7B-чекпоинт Dream-v0-Base от vanshnawander со SliceGPT-сжатием на 40% и LoRA-адаптером, обученным на training splits в порядке WikiText-2 → C4. Финальный адаптер слит с сохранённой SliceGPT-архитектурой; промежуточные и финальный лежат в adapters/, настройки и исходные ревизии — в finetune_manifest.json.
⚙ Ключевые особенности
- 📉 SliceGPT-сжатие: 40% от Dream-v0-Base-7B.
- 🔄 LoRA-адаптер обучен на training splits последовательно: WikiText-2 → C4.
- 💾 Финальный адаптер слит с сохранённой SliceGPT-архитектурой; промежуточные — в
adapters/. - 📌 Настройки и исходные ревизии записаны в
finetune_manifest.json. - ✔ Reload/forward verification пройдена.
- 📊 В карточке есть ppl и задачи ARC, BoolQ, PIQA, Winogrande.
💻 Пример
Сценарий из карточки: скачать чекпоинт через snapshot_download, затем загрузить bundled load_checkpoint.py или structured-diffusion-eval portable runner. Оценка выполнена в BF16, seed 42, MC=128, batch size 32; LLaDA generation — 256 steps и 1024 output tokens.
Подробнее
Бенчмарки: ppl C4 — 32.82, WikiText-2 — 19.71; BoolQ acc — 0.721; PIQA acc_norm — 0.621.Оценка: BF16, seed 42, MC=128, batch size 32; LLaDA — 256 steps/1024 tokens; GSM8K — 5-shot, остальные zero-shot.
VRAM/железо в карточке не указаны. Отсутствующий бенчмарк — pending, не ноль.
В таблице также ARC Challenge/Easy и Winogrande; полные результаты опубликованы в карточке.
Комментарии
Без регистрации: достаточно имени.