svd-safety-l3_hisvd_wiki_r50

Это исследовательский чекпоинт на базе meta-llama/Meta-Llama-3-8B-Instruct от Jeesup, сжатый методом HiSVD до доли 0.5047 плотных параметров и частично восстановленный stage-2 LoRA из SVD-LLM. Модель — одна ячейка сетки экспериментов о том, как SVD-сжатие влияет на safety-поведение и какое правило выбора компонентов лучше его восстанавливает. Это не general-purpose chat model.

⚙ Ключевые особенности

• 🧬 База — Llama-3-8B-Instruct, около 8.03B параметров.
• 🩻 Сжатие HiSVD: удалено 50.00% параметров, итоговая доля — 0.5047.
• ⚙ Восстановление stage-2 LoRA из SVD-LLM: sequential U then V, alpaca-cleaned, r=8, alpha=16, 2 эпохи, lr 1e-4, batch 64, cutoff 256, bf16.
• 🔬 Калибровка: wikitext2:256, seqlen 2048, seed 42; rank method stable, modulation logarithmic, alpha 1.0.
• 🛑 Часть вариантов сетки намеренно safety-degraded; чекпоинт предназначен для измерений, а не для деплоя.

🧩 Пример

Сценарий из карточки: использовать чекпоинт как экспериментальный субъект в оценке safety/utility trade-off — прогнать AdvBench, StrongREJECT и WildGuard, сравнить с Llama-3-8B-Instruct и другими ячейками сетки. Автор прямо предупреждает: это не готовый ассистент, результаты нужно перепроверять самостоятельно.

Подробнее

AdvBench ASR (HarmBench judge): 0.5923
StrongREJECT ASR (HarmBench judge): 0.3578
Macro over-refusal (WildGuard): 0.1740
WikiText-2 perplexity: 28.1130
Сжатие само по себе повышает attack-success rate; лицензия — Meta Llama 3 Community License.