svd-safety-l2_dualk_jbb_mix_trace_r40

Это исследовательский чекпоинт от Jeesup на базе meta-llama/Llama-2-7b-chat-hf. Модель сжата dual-domain K-FAC whitened SVD до 60.0% плотных параметров (удалено 40.00%), затем восстановлена stage-2 LoRA из SVD-LLM. Это одна ячейка грида по правилам выбора компонентов и бюджетам, а не general-purpose чат-модель.

🔎 Ключевые особенности

• 🛡 Сжатие dual-domain K-FAC whitened SVD учитывает кривизну полезности и безопасности; бюджет рангов — SVD-LLM.
• ⚙ Solver mix: closed-form whitened SVD на смешанной K-FAC F_mix, вес безопасности a=0.0485, нормализация trace.
• 🔄 Stage-2 LoRA: sequential U then V, alpaca-cleaned, r=8, alpha=16, 2 epochs, lr 1e-4, batch 64, cutoff 256, bf16.
• 💯 Метрики: AdvBench ASR 0.0038, StrongREJECT ASR 0.0192, Macro over-refusal 0.5136, WikiText-2 perplexity 9.9009.
• ❗ Не готовый ассистент: часть веток грида намеренно деградирована по безопасности относительно Llama-2-7b-chat.
• 🔒 Лицензия Llama 2 Community License; файлы LICENSE.txt и USE_POLICY.md включены в репозиторий.

💬 Пример

Сценарий из карточки: сравнить ASR и perplexity для разных правил выбора компонентов и бюджетов сжатия. Чекпоинт стоит использовать как экспериментальный объект для оценки safety/utility trade-off, а не как deployable-ассистента.