svd-safety-l2b13_svdllm_r50

Это чекпоинт meta-llama/Llama-2-13b-chat-hf, сжатый SVD-LLM до 50% плотных параметров и восстановленный stage-2 LoRA: последовательно U, затем V, на alpaca-cleaned, r=8, alpha=16, 2 эпохи, lr 1e-4, batch 64, cutoff 256, bf16. Специального отбора или ремонта safety здесь нет — это чистый baseline SVD-LLM из исследования о том, как сжатие ломает safety-поведение и какие правила выбора компонентов лучше его чинят.

🧐 Ключевые особенности

• 🤖 База — Llama-2-13b-chat; в метаданных 13.02B параметров.
• 🗿 Сжатие SVD-LLM: удалено 50.00% параметров, остаточная доля 0.5000.
• 🔙 Восстановление stage-2 LoRA: sequential U then V, r=8, alpha=16, 2 эпохи.
• ⛔ Это не general-purpose чат-модель, а исследовательский артефакт — одна ячейка сетки по selection rules и бюджетам.
• 👀 Часть ячеек в исследовании намеренно safety-degraded; этот baseline тоже нужно оценивать самостоятельно.

👀 Пример

Сценарий из карточки: использовать чекпоинт как baseline в эксперименте по safety — прогнать harmful-промпты и сравнить ASR с несжатой Llama-2-13b-chat, а затем проверить, какое правило выбора компонентов лучше восстанавливает поведение.

Подробнее

AdvBench ASR (HarmBench judge): 0.2442
StrongREJECT ASR (HarmBench judge): 0.2364
WikiText-2 perplexity: 10.7173
Лицензия Llama 2 Community License; это исследовательский чекпоинт, не готовый ассистент.