svd-safety-l2_dualk_jbb_mix_tok_r40

Это чекпоинт Llama-2-7b-chat от Jeesup на 6,74 млрд параметров, сжатый с помощью dual-domain K-FAC whitened SVD до 60,0% плотных параметров и восстановленный stage-2 LoRA из SVD-LLM. Исследовательский артефакт изучает, как SVD-сжатие повреждает safety-поведение и какое правило выбора компонентов лучше его восстанавливает. Это не универсальная чат-модель.

🧐 Ключевые особенности

• 🧐 Исследовательский артефакт: изучает trade-off между safety и utility при сжатии.
• 🔥 Сжатие: dual-domain K-FAC whitened SVD с кривизной utility + safety и бюджетом рангов SVD-LLM; удалено 40,00% параметров, осталось 0,5998 доли.
• 🤖 Восстановление: stage-2 LoRA из SVD-LLM — последовательно U, затем V; alpaca-cleaned, r=8, alpha=16, 2 эпохи, lr 1e-4, batch 64, cutoff 256, bf16.
• 👀 Одна ячейка сетки по правилам выбора и бюджетам; safety weight a = 0,0485, seed 42.
• ⛔ Не для деплоя: экспериментальный субъект, а не готовый ассистент; часть веток сетки намеренно safety-degraded.

👀 Пример

Сценарий из карточки: исследователь запускает чекпоинт как одну из ячеек сетки, сравнивает ASR и perplexity с другими правилами выбора компонентов и проверяет, насколько сжатие ухудшает safety-поведение.

Подробнее

AdvBench ASR (HarmBench judge): 0.0077; StrongREJECT ASR (HarmBench judge): 0.0160.
Macro over-refusal (WildGuard): 0.5195; WikiText-2 perplexity: 9.9246.
Это research artifact: не универсальная чат-модель, часть ячеек сетки намеренно safety-degraded. Лицензия Llama 2 Community License.