svd-safety-l2_kfacmixsep_r40

Это исследовательский чекпоинт на базе meta-llama/Llama-2-7b-chat-hf, сжатый pooled K-FAC whitened SVD до 60,0% плотных параметров и восстановленный stage-2 LoRA из SVD-LLM. Автор изучает, как SVD-сжатие влияет на safety-поведение и какое правило выбора компонентов лучше его восстанавливает. Это не general-purpose чат-модель, а экспериментальный образец из сетки конфигураций.

🔍 Ключевые особенности

• ⚙ Сжатие: pooled K-FAC whitened SVD, удалено 40,00% параметров; итоговая доля — 0.5998.
• 🛡 Калибровка объединяет utility и safety: WikiText-2 train + 96 целей JailbreakBench с отказами самой Llama-2-7b-chat.
• 🔄 Восстановление: stage-2 LoRA от SVD-LLM — последовательно U, затем V; alpaca-cleaned, r=8, alpha=16, 2 эпохи, lr 1e-4.
• 📊 Есть замеры ASR, over-refusal, perplexity и zero-shot accuracy.
• ⚠ Не предназначен для продакшена: это исследовательский артефакт для оценки trade-off между safety и utility.

💬 Пример

Сценарий из карточки — сравнить, как сжатие меняет безопасность и полезность: прогнать AdvBench/StrongREJECT и WildGuard, затем сверить WikiText-2 perplexity и zero-shot accuracy с несжатой Llama-2-7b-chat. Для запуска используйте transformers, но сначала проверьте лицензию Llama 2 и оцените модель самостоятельно.

Подробнее

AdvBench ASR: 0.0058; StrongREJECT ASR: 0.0288.
Macro over-refusal (WildGuard): 0.4535; WikiText-2 perplexity: 9.9707.
Zero-shot mean accuracy на 7 задачах: 0.4861.
Параметров ~6.74B; это исследовательский чекпоинт, не готовый ассистент. Лицензия — Llama 2 Community License.