svd-safety-l2_dualk_mix_tok_a0132_r40

Исследовательский чекпойнт от Jeesup на базе meta-llama/Llama-2-7b-chat-hf. Модель сжата dual-domain K-FAC whitened SVD с бюджетом рангов SVD-LLM до 60.0% плотных параметров, затем восстановлена stage-2 LoRA. Это не универсальный чат-ассистент, а одна ячейка сетки экспериментов по правилам выбора компонентов и бюджетам сжатия.

⚙ Ключевые особенности

• 🧬 База — Llama-2-7b-chat; удалено 40.00% параметров, осталось 0.5998 доли.
• 🎯 Solver mix: closed-form whitened SVD на смешанной K-FAC F_mix = [(1-a) G_u + a G_s] ⊗ [(1-a) A_u + a A_s].
• 🔬 Вес safety a = 0.1320; нормализация кривизны tok: A / positions, G / loss tokens, по доменам.
• 🩻 Stage-2 LoRA: sequential U then V, alpaca-cleaned, r=8, alpha=16, 2 epochs, lr 1e-4, batch 64, cutoff 256, bf16.
• 🛑 Часть ячеек сетки намеренно safety-degraded; это исследовательский артефакт, не готовый ассистент.

🔬 Пример

Сценарий из карточки: сравнить сжатый чекпойнт с базовой Llama-2-7b-chat по ASR на AdvBench и StrongREJECT, over-refusal на WildGuard и perplexity на WikiText-2 — чтобы измерить trade-off между safety и utility после сжатия.

Подробнее

AdvBench ASR (HarmBench judge): 0.0038
StrongREJECT ASR (HarmBench judge): 0.0128
Macro over-refusal (WildGuard): 0.5350
WikiText-2 perplexity: 9.9478
Ограничение: research artifact, не general-purpose chat model; оценивайте самостоятельно. Лицензия Llama 2 Community License.