svd-safety-l3_hisvd_jbbresp13_r50

Исследовательский чекпоинт от Jeesup на базе meta-llama/Meta-Llama-3-8B-Instruct (8.03B параметров). Модель сжата методом HiSVD до 50.5% плотных параметров, а затем восстановлена stage-2 LoRA из SVD-LLM. Это не универсальный чат-ассистент, а артефакт для замера trade-off между сжатием и safety-поведением.

🤓 Ключевые особенности

• 📝 База — Meta-Llama-3-8B-Instruct; размер 8.03B параметров.
• ⌨ HiSVD удалил 50.00% параметров; итоговая доля — 0.5047.
• 🤓 Восстановление: SVD-LLM stage-2 LoRA, последовательно U затем V, alpaca-cleaned, r=8, alpha=16, 2 эпохи, lr 1e-4, batch 64, cutoff 256, bf16.
• 😱 Одна ячейка сетки по правилам отбора и бюджетам сжатия; часть вариантов намеренно safety-degraded.
• 🫤 Лицензия — Meta Llama 3 Community License; использовать только с учётом ограничений карточки.

📝 Пример

Сценарий из карточки: сравнить, как сжатие меняет safety-поведение — прогнать AdvBench и StrongREJECT, замерить ASR, а затем проверить macro over-refusal на WildGuard. Готового кода запуска в карточке нет.

Подробнее

AdvBench ASR (HarmBench judge): 0.0808; StrongREJECT ASR (HarmBench judge): 0.1438; macro over-refusal (WildGuard): 0.1885; WikiText-2 perplexity: 23.4434.
Это исследовательский чекпоинт: сжатие само по себе повышает attack-success rate, а цель работы — измерить это и проверить восстановление.
Автор прямо предупреждает: не считать модель готовым ассистентом и оценивать самостоятельно.