Dream-v0-Base-7B SliceGPT 40% LoRA
сжатый 7B-чекпоинт с адаптером
1 min read
Это 7B-чекпоинт Dream-v0-Base от vanshnawander со SliceGPT-сжатием на 40% и LoRA-адаптером, обученным на training splits в порядке WikiText-2 → C4. Финальный адаптер слит с сохранённой SliceGPT-архитектурой; промежуточные и финальный лежат в adapters/, настройки и исходные ревизии — в finetune_manifest.json.
Ключевые особенности
- SliceGPT-сжатие: 40% от Dream-v0-Base-7B.
- LoRA-адаптер обучен на training splits последовательно: WikiText-2 → C4.
- Финальный адаптер слит с сохранённой SliceGPT-архитектурой; промежуточные — в
adapters/. - Настройки и исходные ревизии записаны в
finetune_manifest.json. - Reload/forward verification пройдена.
- В карточке есть ppl и задачи ARC, BoolQ, PIQA, Winogrande.
Пример
Сценарий из карточки: скачать чекпоинт через snapshot_download, затем загрузить bundled load_checkpoint.py или structured-diffusion-eval portable runner. Оценка выполнена в BF16, seed 42, MC=128, batch size 32; LLaDA generation — 256 steps и 1024 output tokens.
Подробнее
Бенчмарки: ppl C4 — 32.82, WikiText-2 — 19.71; BoolQ acc — 0.721; PIQA acc_norm — 0.621.Оценка: BF16, seed 42, MC=128, batch size 32; LLaDA — 256 steps/1024 tokens; GSM8K — 5-shot, остальные zero-shot.
VRAM/железо в карточке не указаны. Отсутствующий бенчмарк — pending, не ноль.
В таблице также ARC Challenge/Easy и Winogrande; полные результаты опубликованы в карточке.










Comments