svd-safety-l3_dualk_mix_tok_r50

Исследовательский чекпоинт от Jeesup на базе meta-llama/Meta-Llama-3-8B-Instruct. Модель сжата dual-domain K-FAC whitened SVD до 50.0% плотных параметров и восстановлена stage-2 LoRA из SVD-LLM. Это не универсальный чат-ассистент, а артефакт для изучения trade-off между safety и utility после сжатия.

📝 Ключевые особенности

• 📝 Сжатие: dual-domain K-FAC whitened SVD с кривизной utility + safety, удалено 50.00% параметров, итоговая доля 0.4997.
• 🤓 Восстановление: stage-2 LoRA SVD-LLM, последовательно U затем V, alpaca-cleaned, r=8, alpha=16, 2 эпохи, lr 1e-4, batch 64, cutoff 256, bf16.
• 📝 Safety-вес a=0.1238 (--alpha tok); калибровка utility на wikitext-2-raw-v1, safety — на 512 samples из jsonl.
• 🤔 Это одна ячейка grid по selection rules и budget; часть arms намеренно safety-degraded, модель нужно оценивать самостоятельно.
• 📝 Лицензия Meta Llama 3 Community License; в репозитории есть LICENSE и USE_POLICY.md.

📝 Пример

Сценарий из карточки: сравнить эту ячейку с dense Llama-3-8B-Instruct по ASR и perplexity, чтобы измерить, как сжатие влияет на safety-поведение и насколько LoRA-восстановление его чинит.

Подробнее

AdvBench ASR (HarmBench judge): 0.0154
StrongREJECT ASR: 0.0767
Macro over-refusal (WildGuard): 0.3156
WikiText-2 perplexity: 19.5148
Ограничение: исследовательский артефакт, не для деплоя как ассистент; требования к VRAM в карточке не указаны.