svd-safety-l2_dualk_jbb_dual_tok_r40

Это исследовательский чекпоинт Llama-2-7b-chat, сжатый до 59,98% плотных параметров с помощью dual-domain K-FAC whitened SVD и восстановленный stage-2 LoRA. Автор — Jeesup; модель создана для изучения того, как SVD-сжатие влияет на safety-поведение и какие правила выбора компонентов лучше его восстанавливают. Это не универсальный чат-ассистент.

🔬 Ключевые особенности

• 🧊 Сжатие: dual-domain K-FAC whitened SVD с бюджетом рангов SVD-LLM, удалено 40% параметров.
• 🎯 Восстановление: stage-2 LoRA от SVD-LLM — sequential U then V, alpaca-cleaned, r=8, alpha=16, 2 epochs, lr 1e-4.
• 🔬 Safety-калибровка: jbb_harm_resp:13, safety weight a=0.0485, нормализация tok.
• ⚙ Utility-калибровка: wikitext-2-raw-v1 train, 255 × 2048-token windows, seed 42.
• 🛑 Это research artifact, а не готовый ассистент: часть ячеек grid намеренно safety-degraded.
• 📀 Лицензия Llama 2 Community License.

🔎 Пример

Пример из карточки: чекпоинт используют как одну ячейку grid — сравнить его с другими вариантами по AdvBench ASR, StrongREJECT ASR и macro over-refusal, чтобы оценить, как сжатие меняет safety.